基于文本內(nèi)容的微博突發(fā)話題檢測(cè)技術(shù)研究.pdf

1、微博的開放性與便捷性,使得微博已經(jīng)成為了網(wǎng)絡(luò)輿論傳播的一個(gè)重要平臺(tái)。但是微博信息量大,傳播速度快,這給網(wǎng)絡(luò)輿情的收集和管理工作帶來(lái)了挑戰(zhàn)。因此,如何從微博信息流中及時(shí)準(zhǔn)確地檢測(cè)出突發(fā)話題是當(dāng)前研宄中的一個(gè)難點(diǎn)和熱點(diǎn)問(wèn)題。本文對(duì)微博突發(fā)話題偵測(cè)中的兩個(gè)關(guān)鍵技術(shù):突現(xiàn)主題詞和觀點(diǎn)詞的檢測(cè)方法展開了研宄。其主要工作包括如下三個(gè)方面。
　　首先為了提高偵測(cè)話題的準(zhǔn)確率和召回率,提出了一種基于內(nèi)容搜索的突現(xiàn)主題詞檢測(cè)方法。以暴發(fā)性關(guān)鍵詞為線

2、索,借助Lucene檢索工具把與暴發(fā)性關(guān)鍵詞相關(guān)的微博文本合并形成一個(gè)文本文檔,然后結(jié)合傳統(tǒng)的TF-IDF方法摘取文檔中的主題詞。實(shí)驗(yàn)表明,當(dāng)檢測(cè)到的主題詞達(dá)到八個(gè)甚至十個(gè)時(shí),準(zhǔn)確率和召回率的權(quán)衡值F-meaSure分別為0.87和0.84,其平均F-measure值比基于關(guān)聯(lián)規(guī)則的方法提高了13.2％。
　　其次,為了更準(zhǔn)確地檢測(cè)出話題中表達(dá)的主要觀點(diǎn),提出了一種基于互信息的觀點(diǎn)詞檢測(cè)方法。以大連理工大學(xué)的情感詞典為基礎(chǔ),訓(xùn)練情

3、感詞典,用改進(jìn)的互信息方法計(jì)算主題詞與情感詞之間的關(guān)聯(lián)程度,并以此來(lái)找到與主題詞最相關(guān)的觀點(diǎn)詞。對(duì)比實(shí)驗(yàn)表明,以互信息理論為基礎(chǔ)來(lái)計(jì)算主題詞與觀點(diǎn)詞之間的關(guān)聯(lián)程度,可以更準(zhǔn)確的檢測(cè)出話題中表達(dá)的主要觀點(diǎn),觀點(diǎn)詞檢測(cè)的準(zhǔn)確率和召回率分別為0.72和0.65,其綜合評(píng)估指標(biāo)F-measure的值為0.68,比傳統(tǒng)的方法提高了約5%。
　　最后在上述提出兩種方法的基礎(chǔ)之上,實(shí)現(xiàn)了一個(gè)可在線檢測(cè)微博突發(fā)話題的系統(tǒng)。系統(tǒng)一方面采用了文章中提

4、出的突現(xiàn)主題詞檢測(cè)方法和觀點(diǎn)詞檢測(cè)方法,實(shí)現(xiàn)了突發(fā)話題的檢測(cè)功能,驗(yàn)證了方法的有效性;另一方面實(shí)現(xiàn)了微博內(nèi)容定位和微博內(nèi)容搜索功能,使用戶能夠定位到與突發(fā)話題相關(guān)的具體微博。
　　本文以微博文本內(nèi)容為研宄對(duì)象,提出了基于內(nèi)容搜索的突現(xiàn)主題詞檢測(cè)方法和基于互信息的觀點(diǎn)詞檢測(cè)方法,并且在這兩種方法的基礎(chǔ)上實(shí)現(xiàn)了一個(gè)在線的微博突發(fā)話題檢測(cè)系統(tǒng)。本文的研宄成果將有助于輿情監(jiān)察用戶更全面更直觀的掌握最新的網(wǎng)絡(luò)輿情,為微博的輿情監(jiān)察工作帶來(lái)了