基于Hadoop海量日志文件的網(wǎng)站并發(fā)性能分析.pdf

1、商業(yè)數(shù)據(jù)、科學數(shù)據(jù)、網(wǎng)頁數(shù)據(jù)這三大類海量數(shù)據(jù)憑借著異構性、動態(tài)性和膨脹性等特點給傳統(tǒng)的數(shù)據(jù)處理方式帶來巨大壓力。以Hadoop為代表的大規(guī)模數(shù)據(jù)處理技術突破以往的單機數(shù)據(jù)處理模式，引入大規(guī)模分布式計算機集群來提升數(shù)據(jù)處理性能，大大減輕了數(shù)據(jù)處理壓力。Hadoop技術現(xiàn)已憑借著可伸縮性、健壯性以及計算性能和成本上無可替代的優(yōu)勢逐漸發(fā)展為海量數(shù)據(jù)處理的最佳解決方案，受到越來越多IT企業(yè)的重視。
　　本文首先研究海量數(shù)據(jù)相關技術的應用現(xiàn)

2、狀及 Hadoop平臺的設計架構，選取網(wǎng)站自動生成的日志文件為處理對象，提出一種基于 Hadoop的海量日志文件處理模型。根據(jù)日志文件信息冗余、格式不統(tǒng)一的特點，該模型在設計時首先對格式進行解析處理，提取其中有價值的信息并將其鍵值化。再遵循MapReduce編程框架，分兩階段設計任務匯總模塊和對結果的求平均排序模塊，目的是能根據(jù)日志提供的信息統(tǒng)計出網(wǎng)站的并發(fā)量及平均響應時間，以此探索網(wǎng)站并發(fā)量高的時候響應時間的變化情況，分析網(wǎng)站性能的優(yōu)