基于Hadoop平臺(tái)的日志分析系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和廣泛普及，web的信息量以驚人的速度增長。目前，WorldWide Web已深入到人類社會(huì)的每一個(gè)角落，成為擁有近億個(gè)工作站，數(shù)十億頁面，蘊(yùn)含著巨大潛在價(jià)值知識(shí)的分布式信息空間。電子商務(wù)網(wǎng)站創(chuàng)造了前所未有的訪問量，各種大型網(wǎng)絡(luò)游戲不斷刷新著在線用戶數(shù)峰值，于此同時(shí)這些大型系統(tǒng)都記錄下了海量的用戶日志。就電子商務(wù)網(wǎng)站而言，處理網(wǎng)站訪問日志有助于為網(wǎng)站的管理者提供決策支持進(jìn)而指導(dǎo)網(wǎng)站運(yùn)營，如改善網(wǎng)站結(jié)構(gòu)提升用戶體驗(yàn);進(jìn)

2、行關(guān)鍵詞營銷提升流量、促進(jìn)轉(zhuǎn)化、提升效益;分析用戶行為進(jìn)行個(gè)性化的推薦和營銷來提高網(wǎng)站的核心競爭力，在激烈的市場競爭中保持優(yōu)勢。
　　Hadoop是Apache下的一個(gè)開源分布式計(jì)算平臺(tái)，它提供簡單的編程模型，對大量數(shù)據(jù)進(jìn)行分布式處理。Hadoop一般運(yùn)行在由大量普通計(jì)算機(jī)組成的集群上。Hadoop框架的核心是分布式文件系統(tǒng)HDFS和分布式計(jì)算框架Map/Reduce，為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。對電子商務(wù)網(wǎng)站日

3、志進(jìn)行預(yù)處理和分析，可以利用集群優(yōu)勢并行處理與分析日志，快速及時(shí)的為網(wǎng)站運(yùn)營團(tuán)隊(duì)提供決策數(shù)據(jù)。
　　某大型網(wǎng)站的分析引擎項(xiàng)目就是為了向企業(yè)提供基于流量、來源通路、訪客、內(nèi)容、商品和訂單六大對象的數(shù)據(jù)分析，通過圖形報(bào)表形式向企業(yè)管理者展示網(wǎng)站的核心數(shù)據(jù)，如動(dòng)銷、轉(zhuǎn)化率、流量和銷售集中度等，同時(shí)滿足企業(yè)對于Web Analysis和Business Analysis的需求。
　　本文在分析現(xiàn)有分布式儲(chǔ)存和計(jì)算等關(guān)鍵技術(shù)的基礎(chǔ)上，

4、結(jié)合對Hadoop平臺(tái)的分析與研究，設(shè)計(jì)實(shí)現(xiàn)了一種基于分布式計(jì)算平臺(tái)的日志分析系統(tǒng)，并使用本系統(tǒng)進(jìn)行了網(wǎng)站流量、網(wǎng)站來源、網(wǎng)站訪客及訂單等分析工作。本文對該系統(tǒng)的各個(gè)功能模塊進(jìn)行了詳細(xì)的闡述并對本文給出的分布式平臺(tái)的高效性進(jìn)行了實(shí)驗(yàn)比較分析。實(shí)驗(yàn)表明，采用該分析系統(tǒng)，通過多個(gè)資源完成原先由一個(gè)節(jié)點(diǎn)承擔(dān)的工作，無論是在數(shù)據(jù)處理還是任務(wù)執(zhí)行上，其效率都高于基于單機(jī)集中式環(huán)境的Web日志分析，另外還可以得出任務(wù)的執(zhí)行時(shí)間不僅與集群節(jié)點(diǎn)數(shù)量有關(guān)