社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺及用戶轉(zhuǎn)發(fā)行為分析.pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，社交網(wǎng)絡(luò)中無時不刻不在產(chǎn)生大量的數(shù)據(jù)，僅僅是新浪微博每天就會產(chǎn)生超過一億條數(shù)據(jù)。在這樣一個海量數(shù)據(jù)的背景下，單機的處理能力根本無法滿足對信息處理能力的要求，大數(shù)據(jù)技術(shù)因此順勢而生。同樣，機器學(xué)習(xí)在大數(shù)據(jù)場景中也面臨需要學(xué)習(xí)的樣本數(shù)據(jù)量過大的問題，所以機器學(xué)習(xí)算法也需要進行大規(guī)模并行化。
　　本文基于BDAS軟件架構(gòu)提出并實現(xiàn)了以Spark為核心的社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺，該平臺以Spark為核心構(gòu)建相關(guān)模塊，

2、包含數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)挖掘和數(shù)據(jù)可視化功能，具有良好的開放性、擴展性和通用性。同時為了驗證平臺可擴展性和挖掘數(shù)據(jù)更多的價值，本文進一步對微博用戶轉(zhuǎn)發(fā)行為預(yù)測算法進行研究和實現(xiàn)。針對社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺，按照模塊可以劃分為四個部分：第一，數(shù)據(jù)抓取使用分布式通信框架Akka實現(xiàn)了分布式新浪微博爬蟲系統(tǒng)，為上層數(shù)據(jù)挖掘與分析模塊和數(shù)據(jù)可視化模塊提了可用的海量微博數(shù)據(jù)；第二，數(shù)據(jù)預(yù)處理與存儲通過搭建Hadoop分布式文件系統(tǒng)（HDFS）

3、為抓取到的海量微博數(shù)據(jù)提供分布式存儲服務(wù)，保證了海量數(shù)據(jù)的存儲、訪問和容錯；第三，數(shù)據(jù)挖掘與分析通過運用Spark快速分布式計算的能力、Spark提供的MLlib、GraphX等模塊和本文實現(xiàn)的功能模塊對平臺存儲系統(tǒng)中的海量微博數(shù)據(jù)進行快速處理，快速分析和挖掘；第四，數(shù)據(jù)可視化通過Tomcat服務(wù)器和Redis緩存從大數(shù)據(jù)平臺底層獲取數(shù)據(jù)細節(jié)和算法分析結(jié)果，并通過D3.js可視化工具實現(xiàn)了相關(guān)數(shù)據(jù)的可視化。作為社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺的算

4、法應(yīng)用，本文提出了微博用戶轉(zhuǎn)發(fā)行為預(yù)測算法。算法中引入了多任務(wù)學(xué)習(xí)框架，避免了傳統(tǒng)預(yù)測模型同質(zhì)性導(dǎo)致的無法對用戶進行差異性分析問題。在完成對微博用戶轉(zhuǎn)發(fā)行為數(shù)據(jù)的特征篩選和提取后，本文在社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺上對提出的微博用戶轉(zhuǎn)發(fā)行為預(yù)測算法進行了實現(xiàn)，同時將邏輯回歸（LR）、支持向量機（SVM）以及Passive-Aggressive算法（PA）作為對照算法對數(shù)據(jù)集上進行訓(xùn)練，驗證了該算法的性能和社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺的可擴展性。提出