海量日志分布式處理系統(tǒng)的研究與應(yīng)用.pdf

1、隨著社會的進步、信息技術(shù)的持續(xù)發(fā)展，海量數(shù)據(jù)呈指數(shù)級生成。傳統(tǒng)數(shù)據(jù)庫技術(shù)已無法滿足大數(shù)據(jù)的存儲和計算要求，于是Hadoop技術(shù)應(yīng)運而生。校園網(wǎng)設(shè)備中積存著大量日志數(shù)據(jù)，但無法充分利用，反而成為了負擔(dān)，對分布式處理分析系統(tǒng)有著迫切的需求。
　　本人（獨立或參與）完成了如下工作:為了提高整個Hadoop系統(tǒng)的效率，從數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分析/處理、聚類三個方面的效率進行實驗分析，并提供了相應(yīng)的優(yōu)化策略。數(shù)據(jù)導(dǎo)入效率優(yōu)化的策略是去掉pipel

2、ine中的部分ACK反饋，為了保持數(shù)據(jù)的完整性和可靠性，更新數(shù)據(jù)節(jié)點上錯誤重傳方法，在每個數(shù)據(jù)節(jié)點上維護一個已接收packet包的dataqueue和一個存放已接收packet id的表。針對數(shù)據(jù)處理效率優(yōu)化，論文中針對三組相關(guān)參數(shù)(mapred.map.tasks、dfs.block.size、io.sort.mb)設(shè)置了多組測試數(shù)據(jù)，并進行了分析對比，得出了各個參數(shù)比較適合的取值范圍。聚類效率優(yōu)化策略是添加Mapper輸入緩存并將T

3、ask調(diào)度本地化，也就是使每次迭代中分配給每個節(jié)點的MapTask與第一次迭代時的分配基本一致。
　　本文根據(jù)之前對Hadoop系統(tǒng)的優(yōu)化分析，對Hadoop進行改進，并應(yīng)用到校園網(wǎng)日志分析中來，設(shè)計開發(fā)了一套基于myHadoop的校園網(wǎng)用戶訪問日志分析系統(tǒng)。文章從眾多種類的日志中選取了與校園網(wǎng)用戶行為密切相關(guān)的計費日志。通過該日志中的訪問時間屬性，提取出用戶十二維的上網(wǎng)時間段特征向量。對于聚類算法，選擇了簡易、廣泛被使用的K-M