基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)設(shè)計與實(shí)現(xiàn).pdf

1、在電子商務(wù)急速發(fā)展的今天，各大電商網(wǎng)站都在試圖通過分析用戶登陸網(wǎng)頁所產(chǎn)生的日志，得出各種關(guān)于用戶的特征，從而安排更加具有效率的頁面排列順序及廣告投放計劃。在分析日志的過程中，面對如今動輒數(shù)百GB，甚至上升至TB的日志規(guī)模，傳統(tǒng)單機(jī)式數(shù)據(jù)庫模式已經(jīng)逐漸跟不上數(shù)據(jù)增長的步伐，而提供并行處理方式的分布式數(shù)據(jù)庫日益成熟，在大量數(shù)據(jù)的處理需求面前逐漸展示其優(yōu)越的處理效率。其中，由Apache軟件基金會所引入研發(fā)的Hadoop無疑是最受人矚目的。其

2、在TB乃至PB級別的數(shù)據(jù)面前的處理速度非常令人滿意。
　　本文針對電商網(wǎng)站對于大量用戶訪問日志的分析需求，運(yùn)用Hadoop平臺及相關(guān)技術(shù)，設(shè)計并實(shí)現(xiàn)了一款基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)。通過此系統(tǒng)在服務(wù)器上的運(yùn)作，可以對數(shù)百GB乃至TB級別的日志進(jìn)行分析，得出包括用戶來源渠道、站內(nèi)頁面流轉(zhuǎn)分析等各種網(wǎng)站所關(guān)心的用戶數(shù)據(jù)分析，并自動生成圖表進(jìn)行展示，從而可以非常直觀的觀察各項(xiàng)用戶數(shù)據(jù)，以此進(jìn)行更加準(zhǔn)確的商業(yè)行為。本文首先介紹了項(xiàng)