面向微博的新詞發(fā)現(xiàn)和話題檢測技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和移動終端服務(wù)的普及，微博這一新型社交媒體得到了迅速的發(fā)展，受到了個人、企業(yè)和政府的青睞。如今，許多新聞和熱點(diǎn)話題都是通過微博發(fā)表并傳播的，如何從大量微博中及時發(fā)現(xiàn)重要的信息對個人、企業(yè)，甚至政府都有具有重要意義。因此，本文研究了面向微博的新詞發(fā)現(xiàn)和話題檢測技術(shù)，主要研究內(nèi)容如下:
　　(1)研究了針對微博的數(shù)據(jù)采集方法。
　　詳細(xì)介紹了傳統(tǒng)數(shù)據(jù)采集方法和基于微博API的數(shù)據(jù)采集方法的原理，分析了這兩種方

2、法在采集微博數(shù)據(jù)方面的優(yōu)缺點(diǎn)。最后，結(jié)合微博網(wǎng)頁結(jié)構(gòu)的特征，提出了一種適合微博的數(shù)據(jù)采集方法，并且用該方法采集了300萬條微博數(shù)據(jù)，為微博話題檢測提供了豐富的語料資源。
　　(2)研究了面向微博的新詞發(fā)現(xiàn)方法。
　　詳細(xì)介紹了新詞發(fā)現(xiàn)的國內(nèi)外研究現(xiàn)狀，介紹了新詞發(fā)現(xiàn)領(lǐng)域中常用到的統(tǒng)計量和算法，分析了各種新詞發(fā)現(xiàn)方法的原理和優(yōu)缺點(diǎn)。最后，通過計算詞內(nèi)部結(jié)合度和詞邊界自由度發(fā)現(xiàn)新詞，并用該方法參加了COAE2014的相關(guān)評測，取

3、得了較好的成績。
　　(3)研究了面向微博的話題檢測方法。
　　詳細(xì)介紹了微博話題檢測的國內(nèi)外研究現(xiàn)狀，介紹了話題檢測領(lǐng)域中常用到的聚類算法和相似度計算方法，介紹了LDA主題模型的原理。最后，提出了基于LDA模型和多層聚類的話題檢測方法。該方法首先用LDA模型對微博語料建模，提取微博語義信息;然后，結(jié)合微博的時序性，改進(jìn)了傳統(tǒng)Single-Pass算法，將改進(jìn)的Single-Pass聚類和層次聚類相結(jié)合進(jìn)行話題檢測。