基于海量日志消息的軟件系統(tǒng)異常檢測技術(shù)研究與實現(xiàn).pdf

1、隨著分布式的不斷普及，越來越多的軟件系統(tǒng)選擇以大規(guī)模服務(wù)器集群所組成的分布式系統(tǒng)為底層環(huán)境，而隨著云計算的出現(xiàn)以及發(fā)展，這些軟件應(yīng)用系統(tǒng)逐漸選擇部署在云環(huán)境中，隨之而來的問題是系統(tǒng)規(guī)模以及復(fù)雜度的不斷提高，系統(tǒng)出現(xiàn)異常的可能性越來越大。分析系統(tǒng)日志已經(jīng)成為判斷系統(tǒng)是否出現(xiàn)異常的最主要的手段，而當(dāng)系統(tǒng)出現(xiàn)異常時，大量的系統(tǒng)運行信息成為系統(tǒng)管理員要面對的一個難題，而這些運行信息由系統(tǒng)各個組件的日志產(chǎn)生，因此可以通過挖掘海量日志的有用信息來對

2、系統(tǒng)異常進行檢測。系統(tǒng)日志的規(guī)模和結(jié)構(gòu)日益復(fù)雜和龐大，手動地檢查系統(tǒng)日志已經(jīng)變得不切實際，因此就迫切需要一個能夠在海量的系統(tǒng)日志中自動地查找到含有異常信息的日志消息的工具。
　　本文結(jié)合使用源代碼遍歷、日志預(yù)處理、聚類算法以及異常檢測等方法設(shè)計與實現(xiàn)了基于海量日志消息的軟件系統(tǒng)的異常行為檢測技術(shù)。主要基于海量日志消息，立足于日志分析，對現(xiàn)有的技術(shù)難點進行改進，可以應(yīng)用于各種格式的系統(tǒng)日志，解決了在海量的系統(tǒng)日志中查找含有異常信息的

3、日志消息的難題。本文提出的方法的實現(xiàn)步驟如下：首先是異常檢測前的預(yù)處理工作，主要包括四個部分，第一個部分是對源代碼進行分析，包括在抽象語法樹的基礎(chǔ)上對系統(tǒng)源代碼進行遍歷分析并得到完整的日志模板集合；第二個部分是使用Soot工具遍歷系統(tǒng)源代碼，得到模板間可達關(guān)系；第三個部分是對系統(tǒng)日志的預(yù)處理，主要是將系統(tǒng)日志按線程名字分組，然后將分組后的日志與日志模板集合進行匹配；第四部分是通過得到的模板間可達關(guān)系，將匹配后的日志進行組內(nèi)路徑切分，得到

4、日志的執(zhí)行軌跡。然后是在基于上述的預(yù)處理工作的基礎(chǔ)上，提出了基于海量日志消息的軟件系統(tǒng)的異常行為檢測方法，在該階段首先根據(jù)日志軌跡得到日志模板間的調(diào)用次數(shù)，然后利用日志模板間的調(diào)用次數(shù)構(gòu)造相似度矩陣，接著使用改進的聚類方法對相似度矩陣進行聚類操作，然后根據(jù)抽樣策略抽取異常日志模板，最后根據(jù)獲得的異常日志模板即可獲得輸入的系統(tǒng)日志中的異常日志消息。在預(yù)處理和異常檢測階段都進行了實驗，使用Hadoop開源框架對本文所提出方法的正確性和可行性