網站流量統(tǒng)計系統(tǒng)的設計與實現(xiàn).pdf

1、移動互聯(lián)網技術的飛速進步，數據流量費用的降低和高速光纖電纜的全方位覆蓋，全球已處于高速信息化時代。人們使用各類終端設備與互聯(lián)網交互，實現(xiàn)社交、學習、購物等行為，這一系列交互過程都會產生大量的日志數據。通過對這些雜亂無序的日志信息進行分析、挖掘處理，可以讓我們更準確的獲取用戶偏好、分析用戶行為、用戶訪問習慣等，為互聯(lián)網企業(yè)的發(fā)展方向提供參考。如何從網站流量日志數據獲取更多的價值信息，是互聯(lián)網企業(yè)亟待解決的問題。從這一點出發(fā)，提出了大數據背

2、景下基于Hadoop大數據平臺下網站流量統(tǒng)計系統(tǒng)，采用分布式并行計算編程框架，有效的提高了數據處理能力。
　　系統(tǒng)采用Hadoop大數據解決方案完成網站流量日志數據存儲和數據處理需求。在軟件層次結構分為三層：數據存儲層、數據處理層和數據展現(xiàn)層。數據存儲層包含HDFS和PostGreSQL。其中HDFS負責流量日志數據存儲，它與分布式并行計算框架MapReduce交互完成流量日志數據的處理；PostGreSQL為Web報表展現(xiàn)層的數

3、據庫。為滿足復雜多變的需求，數據處理層采用數據倉庫工具Hive實現(xiàn)業(yè)務邏輯處理。系統(tǒng)功能模塊分為數據遷移模塊、數據邏輯處理模塊和Web報表展現(xiàn)模塊。通過數據遷移功能模塊，實現(xiàn)了數據生成、數據處理、數據查詢服務器三者相對獨立的設計思想。通過數據邏輯處理功能模塊，實現(xiàn)了網站流量數據在不同數據維度下的IP數、瀏覽數PV、訪客數UV、會話數Visits的統(tǒng)計。通過Web報表展現(xiàn)功能模塊，將統(tǒng)計數據展現(xiàn)給數據分析人員。
　　系統(tǒng)通過Hado