基于社交網(wǎng)絡(luò)特定用戶群體發(fā)現(xiàn)系統(tǒng).pdf

1、社交網(wǎng)絡(luò)的迅猛發(fā)展吸引了大批的用戶，使得互聯(lián)網(wǎng)成為了社會輿論的主要聚集地之一，近年來國內(nèi)外各領(lǐng)域幾乎所有的重大事件都在微博上被廣泛討論。因此，社交網(wǎng)絡(luò)上的輿情分析已經(jīng)成為一個熱門的研究課題。一些關(guān)鍵用戶在社交網(wǎng)絡(luò)輿論的形成和傳播過程中扮演著重要的角色，網(wǎng)絡(luò)輿情的發(fā)展方向已經(jīng)與他們密不可分，他們被稱為“意見領(lǐng)袖”。意見領(lǐng)袖通常具有強大的影響力，領(lǐng)導(dǎo)著各自領(lǐng)域熱點、焦點問題的輿論走向。在進行網(wǎng)絡(luò)輿情分析時，若能夠發(fā)掘出社交網(wǎng)絡(luò)中的意見領(lǐng)袖，

2、并重點針對這些意見領(lǐng)袖采集和分析相關(guān)的數(shù)據(jù)，就可以有效地節(jié)約數(shù)據(jù)采集、存儲、計算的開銷，達到事半功倍的效果。
　　為了發(fā)掘出社交網(wǎng)絡(luò)中的意見領(lǐng)袖，本文開發(fā)了基于社交網(wǎng)絡(luò)上特定用戶的群體發(fā)現(xiàn)系統(tǒng)，該系統(tǒng)以初始的數(shù)個意見領(lǐng)袖作為輸入，發(fā)掘出社交網(wǎng)絡(luò)中的其他意見領(lǐng)袖群體，并能夠針對發(fā)掘出的意見領(lǐng)袖名單采集用戶的信息和用戶發(fā)表的消息。為了實現(xiàn)意見領(lǐng)袖名單的發(fā)掘功能，本系統(tǒng)實現(xiàn)了影響力分析算法和社區(qū)發(fā)現(xiàn)算法，并針對本系統(tǒng)的具體情況對社區(qū)發(fā)現(xiàn)

3、算法進行了改進，使得對于不完整的用戶關(guān)系圖也能夠得到較為準(zhǔn)確的劃分結(jié)果。而數(shù)據(jù)采集部分，本文搭建了分布式的社交網(wǎng)絡(luò)爬蟲作為系統(tǒng)的數(shù)據(jù)采集模塊。該爬蟲通過調(diào)用社交網(wǎng)站提供的API和模擬瀏覽器兩種方式來協(xié)同實現(xiàn)數(shù)據(jù)的采集，能夠采集的數(shù)據(jù)有用戶信息、用戶好友關(guān)系、用戶發(fā)表的歷史消息以及用戶發(fā)表的實時消息四個部分。為了提高爬取的效率，數(shù)據(jù)采集模塊采用了分布式技術(shù)，讓多臺主機協(xié)同完成數(shù)據(jù)采集工作，并且每臺主機能夠定時切換IP和賬號，以突破各社交網(wǎng)