一種基于日志的分布式增量聚類算法.pdf

1、隨著云計算的普及，大型在線服務(wù)系統(tǒng)受到越來越多的關(guān)注，各種大型在線服務(wù)系統(tǒng)在市場上層出不窮。隨著系統(tǒng)的日趨龐大和復(fù)雜，大型在線服務(wù)系統(tǒng)產(chǎn)生的日志數(shù)據(jù)達(dá)到TB級別，同時需要保證系統(tǒng)24小時99.99％可用性。大型在線服務(wù)系統(tǒng)的正確運行和效率對于大型在線服務(wù)系統(tǒng)非常的重要，驗證的正確率和效率直接關(guān)系到大數(shù)據(jù)系統(tǒng)能否在實際生產(chǎn)環(huán)境中穩(wěn)定的運行，是大型在線服務(wù)系統(tǒng)上線生命周期中不可或缺的關(guān)鍵環(huán)節(jié)。日志數(shù)據(jù)作為分析大型在線服務(wù)系統(tǒng)的重要依據(jù)。日志

2、數(shù)據(jù)的分析技術(shù)的成熟，將大力有助于大型在線服務(wù)系統(tǒng)的穩(wěn)定運行和高效維護。高效的日志分析技術(shù)成為研究人員分析驗證以及調(diào)試大型在線分析系統(tǒng)的難點和熱點。
　　日志聚類分析技術(shù)旨在通過聚類分析的技術(shù)，降低大型在線服務(wù)系統(tǒng)的開發(fā)和維護的人力成本，幫助大型在線服務(wù)系統(tǒng)的工程師和研究人員解決相關(guān)的問題，保證系統(tǒng)的穩(wěn)健性。本文以日志的聚類分析及其效率優(yōu)化為研究課題，重點研究了日志數(shù)據(jù)的分布與解析，聚類分析技術(shù)，大數(shù)據(jù)處理分析技術(shù)等。針對海量日志

3、數(shù)據(jù)的數(shù)據(jù)量大和長尾分布的特點，提出了一種 Cascading層疊聚類算法。使用MapReduce技術(shù)實現(xiàn)了該算法，通過實驗驗證了算法的可行性和有效性，并把Cascading聚類算法分析技術(shù)集成到日志分析系統(tǒng)。本文的主要內(nèi)容以及貢獻包括
　　1)研究與分析了日志數(shù)據(jù)的特征和日志數(shù)據(jù)的長尾分布的特點。大量相似的日志數(shù)據(jù)都屬于系統(tǒng)正常運行的日志數(shù)據(jù)，反應(yīng)系統(tǒng)異常和錯誤的信息分布在“長尾”中。提出日志數(shù)據(jù)的預(yù)處理方法，包括對日志數(shù)據(jù)進行

4、抽樣、解析、轉(zhuǎn)換等。
　　2)在深入研究了各類聚類算法并分析了各類聚類算法的優(yōu)缺點的基礎(chǔ)之上，結(jié)合日志數(shù)據(jù)的長尾分布特征，提出了一種針對此類數(shù)據(jù)分布的基于分布式的Cascading聚類算法。
　　3)通過對Cascading聚類算法在日志數(shù)據(jù)的實驗，證實了Cascading聚類算法在運行時間和空間上的可行性，在長尾分布的日志數(shù)據(jù)下的優(yōu)越性，通過實驗說明采用日志聚類算法所減少的工作量。
　　4)搭建了日志數(shù)據(jù)分析系統(tǒng)，包