微博熱點(diǎn)話題發(fā)現(xiàn)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展以及移動(dòng)互聯(lián)網(wǎng)的全面普及，網(wǎng)民們相互溝通了解的方式越來(lái)越多樣化。微博作為一個(gè)新興的平臺(tái)，以其獨(dú)特的靈活性和便捷性，更加受到網(wǎng)民的青睞。微博給人們生活帶來(lái)極大便利的同時(shí)，也產(chǎn)生了一些副作用，例如一些人使用微博蓄意傳播假消息，給社會(huì)安定造成不良的影響。如果能夠及早發(fā)現(xiàn)這些話題，就能及時(shí)采取相應(yīng)的措施。對(duì)用戶來(lái)說(shuō)，用戶只能看到自己主頁(yè)上的微博消息，無(wú)法了解到整個(gè)微博網(wǎng)絡(luò)中大多數(shù)用戶都在討論或者關(guān)注哪些事件。因此，及時(shí)發(fā)現(xiàn)微

2、博熱點(diǎn)話題是非常有意義的。
　　本文定義了話題的熱度，從定量的角度來(lái)表達(dá)熱點(diǎn)話題，對(duì)于某個(gè)話題來(lái)說(shuō)，包含的微博發(fā)布時(shí)間越晚，評(píng)論數(shù)和轉(zhuǎn)發(fā)數(shù)越多，該話題的熱度越高，越有可能是熱點(diǎn)話題。國(guó)內(nèi)外大量學(xué)者都在熱點(diǎn)話題發(fā)現(xiàn)上做了許多研究，總結(jié)出來(lái)大致有聚類算法、LDA模型、情感模型三種方法，或者是在此基礎(chǔ)上進(jìn)行改進(jìn)。本文在研究微博熱點(diǎn)話題發(fā)現(xiàn)的過程中，首先需要解決微博語(yǔ)料的問題，傳統(tǒng)的網(wǎng)絡(luò)爬蟲無(wú)法適用于微博信息抓取，而且微博API也只能抓取

3、本人微博主頁(yè)上的微博信息，無(wú)法獲取大量的微博信息，所以本文根據(jù)微博用戶之間相互關(guān)注的關(guān)系獲取大量用戶信息，然后抓取這些用戶最新發(fā)表的微博信息。接下來(lái)需要對(duì)微博進(jìn)行預(yù)處理，包括過濾垃圾微博信息、分詞、去除停用詞、無(wú)用信息過濾、特征詞提取、特征權(quán)重計(jì)算，為每一條微博文本生成特征向量。最后針對(duì)微博不斷增加的特點(diǎn)，選擇適合的Single-Pass增量聚類算法，得到多個(gè)簇，每個(gè)簇代表一個(gè)話題，每一個(gè)話題下包含許多條微博。為了從話題中選擇出熱點(diǎn)話題

4、，文中定義了話題的熱度，發(fā)布時(shí)間越晚、評(píng)論數(shù)和轉(zhuǎn)發(fā)數(shù)越多的話題，熱度越高，成為熱點(diǎn)話題的可能性越大。
　　從大量學(xué)者的研究中發(fā)現(xiàn)，LDA主題模型也能夠用來(lái)發(fā)現(xiàn)話題，但是它需要多次迭代，處理大量數(shù)據(jù)時(shí)運(yùn)行時(shí)間比較長(zhǎng)。不過LDA主題模型在主題表達(dá)方面比較有優(yōu)勢(shì)，所以本文將Single-Pass算法與LDA模型結(jié)合起來(lái)，先利用Single-Pass聚類算法對(duì)微博文本聚類，然后利用LDA算法處理每一個(gè)簇，最后得到微博熱點(diǎn)話題，這樣比單獨(dú)使