社交網(wǎng)絡的數(shù)據(jù)采集與分析方法研究.pdf

1、社交網(wǎng)絡使得用戶之間可以隨時隨地的交流和溝通，尤其是智能手機和4G網(wǎng)絡的推廣，使其受到越來越多的用戶青睞，現(xiàn)已成為信息傳播的主要方式之一。隨著云計算、大數(shù)據(jù)技術的發(fā)展，社交大數(shù)據(jù)分析挖掘成為學術界、工業(yè)界重點關注的對象，其中數(shù)據(jù)采集是數(shù)據(jù)分析中的關鍵環(huán)節(jié)之一。為了對社交網(wǎng)絡信息傳播模型及用戶最大影響力的進一步研究，本文通過對數(shù)據(jù)采集系統(tǒng)的分析研究，設計并實現(xiàn)了一個簡單通用的社交網(wǎng)絡數(shù)據(jù)采集系統(tǒng)，基于采集的數(shù)據(jù)，重點對社交網(wǎng)絡的用戶偏好進

2、行分析。
　　本研究主要內容包括：⑴社交網(wǎng)絡數(shù)據(jù)采集系統(tǒng)相關技術的介紹。本文介紹了數(shù)據(jù)采集的兩種方法：網(wǎng)絡爬蟲和開放API接口；深入研究了采集過程中OAuth授權認證、XML和JSON頁面解析技術和非關系型數(shù)據(jù)庫等相關技術。⑵社交網(wǎng)絡數(shù)據(jù)采集系統(tǒng)的設計與實現(xiàn)。本文通過開放的API接口采用廣度優(yōu)先的搜索策略采集社交網(wǎng)絡數(shù)據(jù)；使用多賬戶復用和多線程相結合的方式控制請求的頻率來提高采集的效率；使用樸素貝葉斯方法來解決垃圾博文過濾問題；使

3、用HashMap的方法來解決用戶去重問題；使用翻頁技術解決數(shù)據(jù)完整性問題；采用MongoDB和文本文件兩種方式對采集的海量數(shù)據(jù)進行存儲；采用數(shù)據(jù)修剪的方法對數(shù)據(jù)進行預處理。⑶社交網(wǎng)絡中用戶偏好分析。本文使用TF-IDF（term frequency-inverse document frequency）計算特征文本中特征項的權重；采用VSM（Vector-Space Model）對用戶的偏好建模得到每個用戶及話題的特征向量；采用文本的余