基于LDA模型的微博話題與事件檢測.pdf

1、當前，我們處在一個瞬息萬變的互聯(lián)網(wǎng)時代。近幾年來，以 SNS、微博、微信等為代表的新型網(wǎng)絡(luò)社交工具迅速崛起，各自擁有了數(shù)量巨大的用戶群體。微博憑借著實時性強,內(nèi)容簡練（140字以內(nèi)）和發(fā)布方式多樣等優(yōu)點，已經(jīng)成為網(wǎng)上信息發(fā)布和傳播的主要平臺之一。微博在短時期內(nèi)就能夠聚集大量的文本數(shù)據(jù)，如何在這些雜亂、無序的微博文本數(shù)據(jù)中快速地提取出精煉的、有價值的話題，是一項艱巨的任務(wù)，需要對現(xiàn)有的話題檢測技術(shù)進行發(fā)展和提高。
　　本文提出了一種

2、基于LDA-SP（LatentDirichlet Allocation-Single Pass）的微博話題檢測算法。首先分析了話題檢測的基本流程，闡述了各個環(huán)節(jié)使用技術(shù)的基本原理和實現(xiàn)細節(jié)。針對在傳統(tǒng)話題檢測中，以向量空間模型作為文本模型表示存在著維度過高、語義表現(xiàn)缺失等缺點，本文改進了傳統(tǒng)方法，采用潛在狄利克雷分配模型對微博文本建模，采用Single-Pass算法作為微博話題檢測中聚類的實現(xiàn)方法，將兩者結(jié)合使用。對照實驗的結(jié)果表明，本

3、文提出的算法在解決了預(yù)設(shè)話題數(shù)的缺點的同時，還保證了話題檢測的精度。
　　本文提出了一種微博事件的同一性計算方法。該方法用來區(qū)分微博數(shù)據(jù)集中具有相似內(nèi)容的不同事件。由于這種“難分”問題的存在，主題模型無法對相似內(nèi)容的不同事件進行分辨。本文首先考慮兩條語義上相似的微博，然后計算它們在時間、地點等事件特征上的同一性評分，從而推斷出它們是否表述同一個事件。將此方法與Single-Pass算法相結(jié)合，最后引入微博數(shù)據(jù)集進行實驗。實驗表明，