基于用戶特征的社交網(wǎng)絡(luò)數(shù)據(jù)挖掘研究.pdf

1、數(shù)據(jù)是互聯(lián)網(wǎng)中最寶貴的資源之一，海量數(shù)據(jù)中蘊(yùn)含著巨大的潛在價(jià)值，深入挖掘這些數(shù)據(jù)對于互聯(lián)網(wǎng)電子商務(wù)、企業(yè)決策與推廣、信息傳播與預(yù)測均具有重要的意義。隨著Web2.0網(wǎng)絡(luò)應(yīng)用與移動(dòng)終端設(shè)備的發(fā)展，社交網(wǎng)絡(luò)的普及率與使用率日益提高。相比傳統(tǒng)網(wǎng)絡(luò)應(yīng)用形式，社交網(wǎng)絡(luò)具有用戶主體性強(qiáng)、網(wǎng)絡(luò)特征多樣、數(shù)據(jù)內(nèi)容豐富、群體交互密切、信息傳播迅速等特點(diǎn)。傳統(tǒng)的研究方法與模型難以準(zhǔn)確地描述社交網(wǎng)絡(luò)中用戶的行為特征，因而難以實(shí)現(xiàn)符合社交網(wǎng)絡(luò)特性的數(shù)據(jù)挖掘與分

2、析。鑒于此，論文結(jié)合交叉學(xué)科的研究方法，針對現(xiàn)有算法與模型運(yùn)用于社交網(wǎng)絡(luò)時(shí)存在的效果與性能問題，分別從互聯(lián)網(wǎng)數(shù)據(jù)采集與處理、社交網(wǎng)絡(luò)數(shù)據(jù)實(shí)證分析、用戶影響力與行為分析、用戶個(gè)性化推薦算法以及基于機(jī)器學(xué)習(xí)的信息預(yù)測算法等角度，對社交網(wǎng)絡(luò)中的數(shù)據(jù)挖掘方法進(jìn)行了研究。本研究主要內(nèi)容包括：
　　⑴研究了互聯(lián)網(wǎng)數(shù)據(jù)采集與預(yù)處理技術(shù)。針對數(shù)據(jù)挖掘相關(guān)研究對于數(shù)據(jù)樣本精度與模型處理性能的具體要求，提出了一套數(shù)據(jù)抓取與處理的完整方案。首先，優(yōu)化了

3、基于Nutch的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，實(shí)現(xiàn)了爬蟲系統(tǒng)的并行化同步運(yùn)行方式，提升了爬蟲處理性能。之后，重點(diǎn)研究了網(wǎng)頁信息解析算法，提出了基于規(guī)則與基于wrapper的網(wǎng)頁解析模型。基于規(guī)則的網(wǎng)頁解析模型邏輯簡單且普適性強(qiáng)，適用于互聯(lián)網(wǎng)海量網(wǎng)頁的處理工程;基于wrapper的網(wǎng)頁解析模型具有較高的信息抽取精度，且能夠?qū)崿F(xiàn)來自相同網(wǎng)站信息的結(jié)構(gòu)化處理。最后，研究了網(wǎng)頁快速消重算法與自動(dòng)算法，以到達(dá)降低樣本特征的數(shù)量與維度，提高數(shù)據(jù)質(zhì)量的目的。<

4、br>　?、茖?shí)證分析了微博社交網(wǎng)絡(luò)特征與用戶特征。對新浪微博在線數(shù)據(jù)進(jìn)行了多維度分析，包括用戶特征、微博特征、時(shí)間與演化特征等，探討了作用于用戶影響力與微博傳播關(guān)系的主要因素。在上述分析的基礎(chǔ)上，提出了一套微博社交網(wǎng)絡(luò)用戶權(quán)重計(jì)算模型。該模型由用戶活躍度特征與基于HITS算法的用戶影響力特征加權(quán)實(shí)現(xiàn)，并在數(shù)據(jù)分析的基礎(chǔ)上改進(jìn)了HITS算法的實(shí)現(xiàn)方式，降低了傳統(tǒng)HITS模型用于迭代的運(yùn)算時(shí)間。社交網(wǎng)絡(luò)中更強(qiáng)調(diào)人與人的交互關(guān)系，本文用戶權(quán)威

5、性分析，為進(jìn)一步研究社交網(wǎng)絡(luò)中的信息推薦與傳播機(jī)制提供了理論基礎(chǔ)。
　?、茄芯苛松缃痪W(wǎng)絡(luò)中的用戶個(gè)性化推薦算法。針對傳統(tǒng)推薦算法不足以描述社交網(wǎng)絡(luò)中的用戶偏好性問題，提出了基于統(tǒng)計(jì)特征的微博推薦算法。該算法由用戶微博內(nèi)容偏好性、微博作者影響力水平與用戶交互關(guān)系三大特征加權(quán)構(gòu)成，算法邏輯簡單，計(jì)算性能較高，適用于在線微博平臺的應(yīng)用級研究。為進(jìn)一步提高模型的推薦精度，論文借助基于二元網(wǎng)絡(luò)的NBI推薦模型，對NBI模型初始矩陣與計(jì)算中連

6、接權(quán)重進(jìn)行了優(yōu)化，并將具有社交網(wǎng)絡(luò)特色的用戶特征對于微博的偏好性影響加入到模型中，實(shí)現(xiàn)了微博的個(gè)性化推薦。試驗(yàn)結(jié)果表明，該算法相比NBI模型或單一偏好特征推薦模型，具有更好的個(gè)性化推薦效果。
　　⑷提出了基于機(jī)器學(xué)習(xí)的信息預(yù)測方法。結(jié)合微博社交網(wǎng)絡(luò)的真實(shí)數(shù)據(jù)，分析了影響用戶連接關(guān)系以及微博傳播的主要特征因素，建立了基于SVM的用戶連接關(guān)系預(yù)測模型與基于邏輯回歸的用戶微博轉(zhuǎn)發(fā)模型。為提高算法的預(yù)測性能與big-data模式下模型的實(shí)