基于大數(shù)據(jù)的日志管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、云計算技術(shù)實現(xiàn)了軟硬件資源的共享，極大節(jié)省了用戶基礎(chǔ)設(shè)備的購置和管理成本，促使越來越多的企業(yè)將應(yīng)用程序部署在云平臺之上。云計算提供按需服務(wù)，動態(tài)分配資源，造成了應(yīng)用程序日志的丟失，同時分布式存儲的日志也不便于查看和分析。日志信息對于系統(tǒng)的維護和優(yōu)化具有重要意義，因此，將云平臺下應(yīng)用程序的日志進行統(tǒng)一的收集和管理是非常必要的。
　　針對云計算環(huán)境下應(yīng)用程序日志的特點，本文做了如下的研究工作:(1)云計算根據(jù)應(yīng)用程序的負載變化情況，動

2、態(tài)分配計算資源，造成了應(yīng)用程序日志容易丟失的問題。本文研究和對比了主流的分布式日志收集系統(tǒng)，從中選擇Flume對日志進行集中收集管理。
　　(2)各種應(yīng)用、中間件、系統(tǒng)等每天都會產(chǎn)生大量的日志，這些日志經(jīng)過日志收集系統(tǒng)聚合之后，形成了海量的日志信息。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)不能很好的面對海量數(shù)據(jù)的存儲需求。本文考察了當(dāng)前流行的非關(guān)系型數(shù)據(jù)庫，重點研究了其中代表性的MongoDB數(shù)據(jù)庫。研究發(fā)現(xiàn)，MongoDB無模式的存儲方式、簡便的

3、集群擴充等特點非常適合作為海量異構(gòu)日志的載體。在進一步的研究中發(fā)現(xiàn)，MongoDB基于Chunk塊的數(shù)據(jù)均衡策略存在性能嚴重下降的問題。本文提出基于Chord環(huán)的數(shù)據(jù)均衡策略，依此改造了MongoDB集群，并通過實驗驗證了改造的有效性。
　　(3)傳統(tǒng)的單機日志分析方法面對海量日志時已經(jīng)力不從心，本文對并行化日志分析方法進行了研究。并行計算模型MapReduce具有簡單、適用性強、處理數(shù)據(jù)規(guī)模大等優(yōu)點，可以滿足海量日志的分析需求。