微博熱點(diǎn)話題檢測(cè)與跟蹤技術(shù)研究.pdf

1、話題檢測(cè)與跟蹤是指從海量數(shù)據(jù)中發(fā)現(xiàn)被最多討論的話題并在后續(xù)信息中跟進(jìn)話題的發(fā)展變化狀態(tài)，為人們解決愈發(fā)嚴(yán)重的信息爆炸問(wèn)題。話題檢測(cè)與跟蹤可以節(jié)省用戶時(shí)間，跟進(jìn)事件發(fā)展動(dòng)態(tài)，為輿情監(jiān)控提供數(shù)據(jù)支持，有重要的實(shí)際價(jià)值和安全意義。
　　隨著越來(lái)越多的用戶使用微博進(jìn)行信息發(fā)布和話題討論，熱點(diǎn)話題展示也逐漸變成微博平臺(tái)的一個(gè)重要功能。由于微博的即時(shí)性很強(qiáng)，突發(fā)新聞在微博上的傳播速度很快，而且對(duì)于影響力較大的新聞事件，參與報(bào)道、轉(zhuǎn)發(fā)、評(píng)論的用

2、戶數(shù)量也很大，往往能夠先于傳統(tǒng)新聞媒體做出反應(yīng)。因此，針對(duì)微博的特點(diǎn)，本文通過(guò)過(guò)濾無(wú)效微博，設(shè)計(jì)并實(shí)現(xiàn)了一種針對(duì)微博的熱點(diǎn)話題跟蹤及檢測(cè)方法，主要工作如下:
　　1)分析了微博特性，過(guò)濾了無(wú)效微博。微博用戶人群復(fù)雜，涵蓋范圍廣，差別大，內(nèi)容駁雜。通過(guò)分析微博用戶特征，包括用戶粉絲數(shù)與用戶每日發(fā)布微博數(shù)，過(guò)濾廣告用戶與僵尸用戶;通過(guò)分析微博內(nèi)容，過(guò)濾商家推廣活動(dòng)，與用戶分享內(nèi)容，用戶參與的活動(dòng)等大量對(duì)話題無(wú)貢獻(xiàn)的微博;通過(guò)分析分詞后

3、的微博數(shù)據(jù)，過(guò)濾包含詞數(shù)過(guò)多和過(guò)少的微博，去除無(wú)意義的過(guò)短文本，和重復(fù)過(guò)多的過(guò)長(zhǎng)文本，有效過(guò)濾無(wú)效微博，降低計(jì)算復(fù)雜度。
　　2)設(shè)計(jì)并實(shí)現(xiàn)了基于時(shí)間特性的微博熱點(diǎn)話題檢測(cè)算法。將微博按時(shí)間遞增順序處理，通過(guò)改進(jìn)Single-Pass聚類算法，包括相似度計(jì)算方法的改進(jìn)，結(jié)合用戶影響力的話題向量更新方法的改進(jìn)，進(jìn)行初步話題檢測(cè);利用FP-Growth頻繁項(xiàng)集發(fā)現(xiàn)算法，挖掘頻繁特征詞集，修正SP算法的錯(cuò)誤;利用改進(jìn)的K-MEDOIDS