基于Hadoop的運(yùn)維日志采集分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云計(jì)算和大數(shù)據(jù)技術(shù)的發(fā)展，政府和企業(yè)搭建了越來(lái)越多的數(shù)據(jù)中心來(lái)運(yùn)行各種各樣的業(yè)務(wù)系統(tǒng)。業(yè)務(wù)系統(tǒng)規(guī)模迅速增加，節(jié)點(diǎn)數(shù)達(dá)到幾萬(wàn)臺(tái)甚至更多，運(yùn)維日志規(guī)模隨之急劇增加，缺乏有效的分析框架。一直以來(lái)日志分析都是反映應(yīng)用系統(tǒng)的運(yùn)行狀況和用戶行為的重要途徑，尤其是目前互聯(lián)網(wǎng)技術(shù)的發(fā)展，針對(duì)日志的分析處理增加了很多的創(chuàng)新方向。但是各業(yè)務(wù)系統(tǒng)硬件由多廠家提供，軟件由多家廠商開(kāi)發(fā)，日志格式及日志形式多種多樣，缺乏統(tǒng)一的接入機(jī)制。報(bào)警日志大量重復(fù)，同一故

2、障引發(fā)系統(tǒng)間日志重復(fù)出現(xiàn)，缺乏有效的日志聚類方法。而且對(duì)系統(tǒng)產(chǎn)生的運(yùn)維日志數(shù)據(jù)缺乏關(guān)聯(lián)分析和深度利用，運(yùn)維的智能化程度低。
　　論文工作的主要內(nèi)容是，研究多源異構(gòu)日志加載技術(shù)，支持多種格式、各種形態(tài)日志數(shù)據(jù)的分布式統(tǒng)一加載，解決包括關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)、文本文件數(shù)據(jù)、采集腳本生成數(shù)據(jù)和用戶自定義業(yè)務(wù)生成數(shù)據(jù)等多源異構(gòu)數(shù)據(jù)的接入問(wèn)題。
　　研究分布式計(jì)算框架和存儲(chǔ)技術(shù)，為上層運(yùn)維分析業(yè)務(wù)提供基礎(chǔ)分布式計(jì)算和存儲(chǔ)能力，提供標(biāo)準(zhǔn)化接口

3、，支持運(yùn)維分析業(yè)務(wù)的持續(xù)構(gòu)建。提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理接口，對(duì)運(yùn)維日志進(jìn)行離線聚類和在線實(shí)時(shí)分類處理的能力。
　　研究運(yùn)維日志關(guān)聯(lián)分析技術(shù)，對(duì)日志、系統(tǒng)指標(biāo)進(jìn)行關(guān)聯(lián)分析和融合，挖掘關(guān)聯(lián)規(guī)則，構(gòu)建關(guān)聯(lián)規(guī)則知識(shí)庫(kù)。對(duì)系統(tǒng)運(yùn)行狀態(tài)和故障進(jìn)行提前預(yù)測(cè)，及時(shí)發(fā)現(xiàn)系統(tǒng)故障。
　　論文取得的主要成果是基于Hadoop搭建完成了一個(gè)分布式日志采集分析平臺(tái)，該平臺(tái)提供了支持運(yùn)維大數(shù)據(jù)分析的基礎(chǔ)支撐框架，支持在線和離線的分布式數(shù)據(jù)處理能力，