基于Hadoop的網(wǎng)絡(luò)論壇中意見領(lǐng)袖識別研究.pdf

1、意見領(lǐng)袖是網(wǎng)絡(luò)論壇中具有重要影響力的權(quán)威人物，他們的言行舉止對網(wǎng)民的行為和思想能產(chǎn)生巨大影響。近年來，意見領(lǐng)袖的研究受到越來越多業(yè)界人士的關(guān)注。目前關(guān)于意見領(lǐng)袖研究存在以下幾個方面問題：（1）沒有考慮到意見領(lǐng)袖會受到自身專業(yè)知識的制約，一個人的知識是有限，不可能面面俱到；（2）在構(gòu)建用戶回復(fù)關(guān)系網(wǎng)絡(luò)圖時，用戶與用戶之間的權(quán)重不能由他們互動的次數(shù)來決定。這種做法不能正確的反應(yīng)出論壇中用戶之間交流互動真實情況；（3）目前的研究主要是停留在小

2、型或者數(shù)據(jù)量小的網(wǎng)絡(luò)結(jié)構(gòu)，面對海量數(shù)據(jù)的處理存在著瓶頸，對于大型網(wǎng)絡(luò)中大量數(shù)據(jù)節(jié)點處理，效率低、操作性差、資源消耗大等。
　　為了解決挖掘意見領(lǐng)袖研究中存在的問題，本文提出基于特定話題下意見領(lǐng)袖識別算法，以天涯論壇為研究對象，主要研究內(nèi)容如下：
　?。?）針對意見領(lǐng)袖自身知識的局限性，本文設(shè)計基于特定話題下的意見領(lǐng)袖挖掘系統(tǒng)架構(gòu)，首先把論壇中的帖子按照其內(nèi)容進行聚類分析，目前增量聚類算法 Single-Pass對于大數(shù)據(jù)流的

3、文檔集合下話題識別效果不精準(zhǔn)，提出了基于時間信息的二階段的Single-Pass聚類算法（TDSingle-Pass），該算法在相似度比較策略和計算兩個方面做了優(yōu)化，提高了系統(tǒng)聚類的效果和準(zhǔn)確率。
　?。?）針對大多數(shù)意見領(lǐng)袖挖掘算法中用戶之間權(quán)值的取值問題，本文提出了基于特定話題的意見領(lǐng)袖識別算法(UserRank)，該算法根據(jù)帖子回復(fù)關(guān)系構(gòu)建回復(fù)關(guān)系圖，綜合考慮回帖時回帖人情感傾向和回復(fù)關(guān)系圖中回帖之間的路徑距離以及回帖文本相

4、似度三個方面因素，借鑒PageRank算法思想并重新定義概率轉(zhuǎn)移矩陣，克服了單機環(huán)境處理模式在大數(shù)據(jù)環(huán)境下效能低、速度慢等因素。
　?。?）在Hadoop環(huán)境下對TDSingle-Pass算法和UserRank算法進行實驗驗證，實驗首先確定了TDSingle-Pass算法中相似度比較的閾值，其次與現(xiàn)有的單機環(huán)境下 Single-Pass在誤報率、漏報率、錯誤代價三個指標(biāo)做比較，這三個指標(biāo)分別降低了9.04％、12.86%、12.4