面向云計(jì)算系統(tǒng)的日志過(guò)濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在大規(guī)模分布式系統(tǒng)中,事件日志對(duì)于故障檢測(cè)與故障定位是一種不可或缺的數(shù)據(jù)來(lái)源。通過(guò)分析應(yīng)用程序的事件日志,可以找出導(dǎo)致系統(tǒng)降級(jí)的原因,幫助開(kāi)發(fā)人員和運(yùn)維更好地進(jìn)行調(diào)試與運(yùn)營(yíng)。然而,隨著系統(tǒng)規(guī)模與應(yīng)用數(shù)量的不斷增長(zhǎng),產(chǎn)生的日志數(shù)據(jù)量也在以勢(shì)不可擋的速度增長(zhǎng),給數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析都帶來(lái)了巨大的負(fù)擔(dān),同時(shí)也會(huì)影響系統(tǒng)問(wèn)題診斷的準(zhǔn)確性。因此,過(guò)濾事件日志便成為日志預(yù)處理過(guò)程中不可或缺的一個(gè)處理步驟,也是日志分析處理領(lǐng)域研究的熱點(diǎn)問(wèn)題。
　

2、　本文在閱讀國(guó)內(nèi)外相關(guān)文獻(xiàn)基礎(chǔ)上,依據(jù)對(duì)真實(shí)云計(jì)算系統(tǒng)上事件日志的觀察,研究了日志過(guò)濾技術(shù)的基本特點(diǎn)。針對(duì)以往日志過(guò)濾技術(shù)存在的不足,設(shè)計(jì)并實(shí)現(xiàn)了針對(duì)云計(jì)算系統(tǒng)的事件日志的日志過(guò)濾系統(tǒng)。本文的主要工作總結(jié)如下:
　　(1)研究了故障預(yù)測(cè)與根本原因診斷的相關(guān)工作,分析了日志過(guò)濾與故障預(yù)測(cè)及根本原因診斷之間的關(guān)系,并且討論了Log-Filter系統(tǒng)實(shí)現(xiàn)過(guò)程中碰到的問(wèn)題與涉及到的相關(guān)技術(shù)。
　　(2)設(shè)計(jì)并實(shí)現(xiàn)了面向云計(jì)算系統(tǒng)的事

3、件日志過(guò)濾系統(tǒng)Log-Filter。該系統(tǒng)使用Linux內(nèi)核提供的inotify機(jī)制實(shí)時(shí)收集目標(biāo)機(jī)器上的各種日志數(shù)據(jù),并且在日志收集器中實(shí)現(xiàn)了事件過(guò)濾機(jī)制。同時(shí),在服務(wù)端實(shí)現(xiàn)了基于異常檢測(cè)算法與文本相似性判斷的過(guò)濾方法,將日志數(shù)據(jù)流依據(jù)來(lái)源(Node)和時(shí)間段(Time interval)劃分為日志區(qū)域,取名為實(shí)例(以下稱為 instance),使用基于信息熵的異常檢測(cè)算法找出最有可能包含異常事件的instance集合。本文還提出了一種

4、基于消息類型的日志文檔相似性度量方法,采用該方法找出與異常instance集合最接近的instance集合,最后保存上述兩個(gè)集合中的日志,刪除其他事件日志。
　　(3)利用真實(shí)云計(jì)算系統(tǒng)中的事件日志對(duì)Log-Filter日志過(guò)濾系統(tǒng)進(jìn)行了實(shí)驗(yàn)評(píng)測(cè),對(duì)其數(shù)據(jù)縮減率進(jìn)行實(shí)驗(yàn)分析。在三種不同規(guī)模的集群下,分別對(duì)比了不同日志劃分時(shí)間段和滑動(dòng)窗口取值大小對(duì)數(shù)據(jù)縮減率的影響,并給出了合理的取值。
　　(4)對(duì)在研究與開(kāi)發(fā)Log-Filt