一種基于日志的分布式增量聚類算法.pdf

1、隨著云計(jì)算的普及，大型在線服務(wù)系統(tǒng)受到越來越多的關(guān)注，各種大型在線服務(wù)系統(tǒng)在市場(chǎng)上層出不窮。隨著系統(tǒng)的日趨龐大和復(fù)雜，大型在線服務(wù)系統(tǒng)產(chǎn)生的日志數(shù)據(jù)達(dá)到TB級(jí)別，同時(shí)需要保證系統(tǒng)24小時(shí)99.99％可用性。大型在線服務(wù)系統(tǒng)的正確運(yùn)行和效率對(duì)于大型在線服務(wù)系統(tǒng)非常的重要，驗(yàn)證的正確率和效率直接關(guān)系到大數(shù)據(jù)系統(tǒng)能否在實(shí)際生產(chǎn)環(huán)境中穩(wěn)定的運(yùn)行，是大型在線服務(wù)系統(tǒng)上線生命周期中不可或缺的關(guān)鍵環(huán)節(jié)。日志數(shù)據(jù)作為分析大型在線服務(wù)系統(tǒng)的重要依據(jù)。日志

2、數(shù)據(jù)的分析技術(shù)的成熟，將大力有助于大型在線服務(wù)系統(tǒng)的穩(wěn)定運(yùn)行和高效維護(hù)。高效的日志分析技術(shù)成為研究人員分析驗(yàn)證以及調(diào)試大型在線分析系統(tǒng)的難點(diǎn)和熱點(diǎn)。
　　日志聚類分析技術(shù)旨在通過聚類分析的技術(shù)，降低大型在線服務(wù)系統(tǒng)的開發(fā)和維護(hù)的人力成本，幫助大型在線服務(wù)系統(tǒng)的工程師和研究人員解決相關(guān)的問題，保證系統(tǒng)的穩(wěn)健性。本文以日志的聚類分析及其效率優(yōu)化為研究課題，重點(diǎn)研究了日志數(shù)據(jù)的分布與解析，聚類分析技術(shù)，大數(shù)據(jù)處理分析技術(shù)等。針對(duì)海量日志

3、數(shù)據(jù)的數(shù)據(jù)量大和長(zhǎng)尾分布的特點(diǎn)，提出了一種 Cascading層疊聚類算法。使用MapReduce技術(shù)實(shí)現(xiàn)了該算法，通過實(shí)驗(yàn)驗(yàn)證了算法的可行性和有效性，并把Cascading聚類算法分析技術(shù)集成到日志分析系統(tǒng)。本文的主要內(nèi)容以及貢獻(xiàn)包括
　　1)研究與分析了日志數(shù)據(jù)的特征和日志數(shù)據(jù)的長(zhǎng)尾分布的特點(diǎn)。大量相似的日志數(shù)據(jù)都屬于系統(tǒng)正常運(yùn)行的日志數(shù)據(jù)，反應(yīng)系統(tǒng)異常和錯(cuò)誤的信息分布在“長(zhǎng)尾”中。提出日志數(shù)據(jù)的預(yù)處理方法，包括對(duì)日志數(shù)據(jù)進(jìn)行

4、抽樣、解析、轉(zhuǎn)換等。
　　2)在深入研究了各類聚類算法并分析了各類聚類算法的優(yōu)缺點(diǎn)的基礎(chǔ)之上，結(jié)合日志數(shù)據(jù)的長(zhǎng)尾分布特征，提出了一種針對(duì)此類數(shù)據(jù)分布的基于分布式的Cascading聚類算法。
　　3)通過對(duì)Cascading聚類算法在日志數(shù)據(jù)的實(shí)驗(yàn)，證實(shí)了Cascading聚類算法在運(yùn)行時(shí)間和空間上的可行性，在長(zhǎng)尾分布的日志數(shù)據(jù)下的優(yōu)越性，通過實(shí)驗(yàn)說明采用日志聚類算法所減少的工作量。
　　4)搭建了日志數(shù)據(jù)分析系統(tǒng)，包