分布式社會網(wǎng)絡分析支撐系統(tǒng)研究與應用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展,SNS網(wǎng)站的興起,人們越來越多地通過網(wǎng)絡進行溝通、交流以及形成人際關系,由此產(chǎn)生了大量的用戶數(shù)據(jù)。如何從海量的用戶數(shù)據(jù)中取得更深層次的有用信息,進而挖掘其中的潛在內容,如網(wǎng)絡輿論擴散模型、網(wǎng)絡用戶群體屬性及商業(yè)價值等,是當前的重要研究方向和挑戰(zhàn)。傳統(tǒng)的社會網(wǎng)絡分析工具和算法通常都是基于單機的,在處理大規(guī)模數(shù)據(jù)集的時候往往會面臨存儲和處理能力不足等的問題。而且,原始輸入數(shù)據(jù)和社會網(wǎng)絡結構描述都是無結構或半結構化的數(shù)據(jù)

2、,傳統(tǒng)關系數(shù)據(jù)庫并不善于處理此種類型的數(shù)據(jù),從而在利用傳統(tǒng)社會網(wǎng)絡分析工具和算法處理大規(guī)模數(shù)據(jù)集時變得更加困難。
　　 本文提出了基于HBase的分布式社會網(wǎng)絡分析支撐系統(tǒng)的解決方案,用于幫助用戶在對海量數(shù)據(jù)進行社會網(wǎng)絡分析時,收集萃取數(shù)據(jù),構建可分析的社會網(wǎng)絡,對網(wǎng)絡內的個體或個體間關系進行分析,以得出這個社會網(wǎng)絡的一些特征數(shù)據(jù)。系統(tǒng)主要功能包括獲取社會網(wǎng)絡分析所需的數(shù)據(jù),從數(shù)據(jù)中抽取網(wǎng)絡關系,分布式社會網(wǎng)絡構建,網(wǎng)絡圖存儲和

3、分布式社會網(wǎng)絡分析算法的設計,完整實現(xiàn)了進行社會網(wǎng)絡分析的過程。
　　 該解決方案通過融合HBase分布式體系結構和社會網(wǎng)絡分析流程,建立了基于模塊的多層次體系結構。系統(tǒng)模塊間采用松耦合設計,不同模塊完成不同的功能,在不改變系統(tǒng)功能前提下對任意模塊的內部修改不影響其他模塊的工作。在構建社會網(wǎng)絡時,系統(tǒng)通過開源爬蟲從互聯(lián)網(wǎng),特別是社會化網(wǎng)站中獲取構建社會網(wǎng)絡相關的數(shù)據(jù),并從非結構或半結構化的原始輸入數(shù)據(jù)中抽取出相關的社會網(wǎng)絡關系,

4、然后利用MapReduce分布式構建社會網(wǎng)絡,包括網(wǎng)絡合并、邊屬性計算等。在支撐系統(tǒng)的存儲層設計了基于HBase的圖存儲系統(tǒng),并針對社會網(wǎng)絡結構的特性設計了圖存儲結構,負責存儲構建完成的社會網(wǎng)絡,向上層應用提供各種所需圖數(shù)據(jù)。在進行社會網(wǎng)絡分析時,通過圖表述系統(tǒng)將社會網(wǎng)絡抽象為一幅圖,然后對圖中的節(jié)點和邊進行處理,圖表述系統(tǒng)向分布式社會網(wǎng)絡分析算法提供圖數(shù)據(jù)接口和預處理功能。最后,在支撐系統(tǒng)的基礎上,本文以節(jié)點度、節(jié)點強度及聚類系數(shù)分析