基于社交網絡特定用戶群體發(fā)現(xiàn)系統(tǒng).pdf

1、社交網絡的迅猛發(fā)展吸引了大批的用戶，使得互聯(lián)網成為了社會輿論的主要聚集地之一，近年來國內外各領域幾乎所有的重大事件都在微博上被廣泛討論。因此，社交網絡上的輿情分析已經成為一個熱門的研究課題。一些關鍵用戶在社交網絡輿論的形成和傳播過程中扮演著重要的角色，網絡輿情的發(fā)展方向已經與他們密不可分，他們被稱為“意見領袖”。意見領袖通常具有強大的影響力，領導著各自領域熱點、焦點問題的輿論走向。在進行網絡輿情分析時，若能夠發(fā)掘出社交網絡中的意見領袖，

2、并重點針對這些意見領袖采集和分析相關的數(shù)據，就可以有效地節(jié)約數(shù)據采集、存儲、計算的開銷，達到事半功倍的效果。
　　為了發(fā)掘出社交網絡中的意見領袖，本文開發(fā)了基于社交網絡上特定用戶的群體發(fā)現(xiàn)系統(tǒng)，該系統(tǒng)以初始的數(shù)個意見領袖作為輸入，發(fā)掘出社交網絡中的其他意見領袖群體，并能夠針對發(fā)掘出的意見領袖名單采集用戶的信息和用戶發(fā)表的消息。為了實現(xiàn)意見領袖名單的發(fā)掘功能，本系統(tǒng)實現(xiàn)了影響力分析算法和社區(qū)發(fā)現(xiàn)算法，并針對本系統(tǒng)的具體情況對社區(qū)發(fā)現(xiàn)

3、算法進行了改進，使得對于不完整的用戶關系圖也能夠得到較為準確的劃分結果。而數(shù)據采集部分，本文搭建了分布式的社交網絡爬蟲作為系統(tǒng)的數(shù)據采集模塊。該爬蟲通過調用社交網站提供的API和模擬瀏覽器兩種方式來協(xié)同實現(xiàn)數(shù)據的采集，能夠采集的數(shù)據有用戶信息、用戶好友關系、用戶發(fā)表的歷史消息以及用戶發(fā)表的實時消息四個部分。為了提高爬取的效率，數(shù)據采集模塊采用了分布式技術，讓多臺主機協(xié)同完成數(shù)據采集工作，并且每臺主機能夠定時切換IP和賬號，以突破各社交網