基于Map-Reduce框架的分布式日志分析系統(tǒng)的研究及應(yīng)用.pdf

1、本論文研究了云計(jì)算集群中基于Hadoop框架的分布式日志分析系統(tǒng)，利用MapReduce計(jì)算模型進(jìn)行分布式計(jì)算，并結(jié)合HDFS進(jìn)行分布式存儲(chǔ)，利用分而治之的策略去分析企業(yè)云計(jì)算平臺(tái)中產(chǎn)生海量數(shù)據(jù)，監(jiān)控云計(jì)算集群中服務(wù)器的運(yùn)行狀態(tài)，并從海量數(shù)據(jù)中挖掘有價(jià)值的資源。
　　本系統(tǒng)首先在被監(jiān)控的集群上使用RandomAccess類收集包括各個(gè)節(jié)點(diǎn)上的系統(tǒng)日志、線程池中產(chǎn)生的日志等數(shù)據(jù)。然后，使用SSH工具將這些收集的日志數(shù)據(jù)傳輸?shù)截?fù)責(zé)分析

2、數(shù)據(jù)的集群中去，在這個(gè)過(guò)程中，使用一些聚類的方法將數(shù)據(jù)重新組織。之后，在負(fù)責(zé)分析數(shù)據(jù)的集群上，我們?cè)贖adoop平臺(tái)上，分別實(shí)現(xiàn)了MapReduce框架中的map模塊和reduce模塊，以此達(dá)到分布式分析日志的功能，并根據(jù)用戶自定義的配置，實(shí)現(xiàn)定制化的日志分析。最后，導(dǎo)入生成的分析報(bào)告到Excel VBA，將圖形化的分析報(bào)告呈現(xiàn)給用戶。
　　另外，將該分布式日志分析系統(tǒng)應(yīng)用在Hadoop基準(zhǔn)測(cè)試中，進(jìn)行了大量的實(shí)驗(yàn)和數(shù)據(jù)分析，描述

3、了在不同底層IO軟件（主要包括IO調(diào)度器和文件系統(tǒng)）的選擇上IO密集型基準(zhǔn)測(cè)試的性能比較，方便Hadoop用戶選擇這些底層軟件。并通過(guò)調(diào)節(jié)這些底層軟件層的參數(shù)，對(duì)Hadoop上運(yùn)行的MapReduce程序提供了優(yōu)化方案。
　　比較了TeraSort基準(zhǔn)測(cè)試在幾種不同IO調(diào)度算法和幾大代表性的文件系統(tǒng)上的測(cè)試性能，并使用之前研究的分布式日志分析工具對(duì)其進(jìn)行數(shù)據(jù)的收集與分析。
　　之后，通過(guò)對(duì)最終結(jié)果進(jìn)行優(yōu)化，比如改進(jìn)IO調(diào)度算