基于Hadoop用戶行為分析系統(tǒng)設(shè)計與實現(xiàn).pdf

1、信息技術(shù)的快速發(fā)展使互聯(lián)網(wǎng)廣泛應(yīng)用于人類傳統(tǒng)產(chǎn)業(yè)。近年來，新型社交網(wǎng)絡(luò)以及移動互聯(lián)網(wǎng)技術(shù)促使網(wǎng)絡(luò)用戶數(shù)量的飛速增長，網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)爆炸式的增長?！按髷?shù)據(jù)”成為一種關(guān)鍵技術(shù)，用來分析和挖掘網(wǎng)絡(luò)數(shù)據(jù)的潛在規(guī)律和應(yīng)用價值。網(wǎng)絡(luò)數(shù)據(jù)的產(chǎn)生離不開用戶的上網(wǎng)行為。準(zhǔn)確、快速地從海量數(shù)據(jù)中挖掘用戶的具體網(wǎng)絡(luò)行為信息、提取用戶行為特征對策略管控和智能服務(wù)以及推動未來智慧協(xié)同網(wǎng)絡(luò)發(fā)展至關(guān)重要。為此，本課題在大數(shù)據(jù)背景下，針對不能全面準(zhǔn)確分析網(wǎng)絡(luò)用戶行為的問

2、題，利用網(wǎng)絡(luò)安全開發(fā)包Libnids和分布式平臺Hadoop關(guān)鍵技術(shù)，重點研究設(shè)計并開發(fā)出基于Hadoop的用戶行為分析系統(tǒng)。本系統(tǒng)實現(xiàn)了海量數(shù)據(jù)包抓取和分布式存儲、TCP重組和應(yīng)用層HTTP行為分析等功能，不僅有助于服務(wù)提供者根據(jù)用戶行為特征提供更好的推薦服務(wù)，而且為網(wǎng)絡(luò)相關(guān)部門對網(wǎng)絡(luò)輿論進(jìn)行合理的監(jiān)控奠定有效的技術(shù)支撐。
　　本文采用了基于Hadoop的用戶行為分析方法，首先利用高速捕包工具PF_RING抓取網(wǎng)絡(luò)入口的數(shù)據(jù)作為

3、用戶行為分析的數(shù)據(jù)源，并將其分布式存儲，然后調(diào)用網(wǎng)絡(luò)安全開發(fā)包工具Libnids對數(shù)據(jù)包進(jìn)行重組，實現(xiàn)TCP/IP的重組，實現(xiàn)應(yīng)用層HTTP還原，然后調(diào)用Hadoop集群，利用分布式Mapreduce編程來分析出用戶應(yīng)用層的網(wǎng)絡(luò)行為活動，實現(xiàn)從物理層到應(yīng)用層的全層分析，從用戶的搜索詞、購物趨向、網(wǎng)站留言和常規(guī)網(wǎng)站行為四個維度對用戶進(jìn)行全面的定位。及時了解用戶行為和需求，進(jìn)而策略管控用戶行為和優(yōu)化網(wǎng)絡(luò)服務(wù)，實現(xiàn)網(wǎng)絡(luò)智能化。
　　本文