Web用戶行為數據收集統(tǒng)計系統(tǒng)的設計與實現(xiàn).pdf

1、互聯(lián)網時代的到來，網絡已經融入人們的生活，人們也逐漸接受了網上購物的消費模式。網購者的急劇增加，讓各個電子商務網站投入更多的成本來吸引用戶創(chuàng)造更多的營收。既然是電子商務網站，那么良好的網站設計，讓用戶滿意的購物體驗對網站的經營來說至關重要，所以網站分析就顯得十分必要。要想了解用戶訪問網站的情況，就要獲取全面而且詳細的用戶瀏覽網站的行為數據，從大數據的角度來講海量信息使得網站分析更具洞察力，或許就會從不起眼的數據中挖掘到潛在的價值。

2、>　　雖然現(xiàn)在已有很多第三方甚至免費的網站分析工具，但實際應用在網站中并不方便，如采用JavaScript頁面標簽法的Google Analytics，必須修改頁面引入JavaScript代碼，而且捕獲某種用戶行為數據需要大量地修改頁面增加事件跟蹤的代碼，導致數據捕獲的工作量繁重、管理不便，而且對數據的統(tǒng)計也不具有實時性;而服務器日志的方式不能進行事件跟蹤，還要過濾數據。本文的重點就是實現(xiàn)一個用戶行為數據收集統(tǒng)計系統(tǒng)，采用JavaScr

3、ipt頁面標簽法采集用戶行為數據，但是不需手動修改頁面，而是通過Nginx的模塊功能自動將不同的JavaScript嵌入到各類頁面中;事件跟蹤的JavaScript代碼可以統(tǒng)一管理，方便維護;數據收集服務器基于Netty，可以快速地處理大量的數據;行為數據通過數據收集服務器發(fā)送至MetaQ消息中間件，因為本系統(tǒng)對行為數據的統(tǒng)計有兩種方式，分別是使用Hive實現(xiàn)定制化的周期報表和通過Storm實現(xiàn)實時統(tǒng)計并展示，所以這兩種統(tǒng)計方式可以獨立

4、地從MetaQ消息中間件中拉取數據消息互不影響，因而將數據收集服務器從中解耦出來。
　　本人在項目中的工作主要包括用戶行為數據采集方法的研究、行為數據采集和數據收集存儲模塊的實現(xiàn)，其中本人參與開發(fā)的是通過Hive生成各類運營統(tǒng)計報表，故Storm實時統(tǒng)計的實現(xiàn)不在本文中介紹。目前本系統(tǒng)已經為聯(lián)通網上商城和手機商城等平臺提供行為數據統(tǒng)計服務，借助已有的任務調度系統(tǒng)每日或周期性地生成報表發(fā)送給相關人員，而且就現(xiàn)有情況來看HDFS上的數