基于倒排索引的微博話題檢測(cè).pdf

1、隨著微博這種新興的社交平臺(tái)迅速發(fā)展,越來越多的用戶使用,并且在上面發(fā)布事件信息,由于微博的傳播速度非常迅速,對(duì)新聞傳播的意義非常大,從微博數(shù)據(jù)中發(fā)現(xiàn)熱點(diǎn)事件有著極大的需求。但是由于微博數(shù)據(jù)擁有規(guī)模大、噪聲多、文本較短等特點(diǎn),給話題檢測(cè)與跟蹤帶來了巨大的挑戰(zhàn)。
　　本文在別人研究關(guān)于話題檢測(cè)與跟蹤的基礎(chǔ)上,分析傳統(tǒng)的話題檢測(cè)與跟蹤算法的缺點(diǎn),提出一個(gè)基于倒排索引的方法來提高算法的處理速度,但不降低算法的精度。通過對(duì)微博數(shù)據(jù)分析,人工

2、建立一些規(guī)則對(duì)微博數(shù)據(jù)進(jìn)行噪聲處理。然后對(duì)數(shù)據(jù)建立倒排索引,并進(jìn)行話題檢測(cè)與跟蹤。對(duì)于每天獲取的新的事件,根據(jù)事件的熵值和用戶數(shù)量對(duì)事件進(jìn)行排序,將列表前20的事件與之前的舊事件進(jìn)行合并。在合并之前,利用基于衰老理論的方法來得到需要合并的舊事件集合。本文同時(shí)分析了AP聚類算法在微博數(shù)據(jù)集上的結(jié)果。
　　為了驗(yàn)證算法效率的提升,本文通過在不同級(jí)別的數(shù)據(jù)集上對(duì)比傳統(tǒng)的SINGLE-PASS算法和基于倒排索引的改進(jìn)算法的處理時(shí)間,通過實(shí)

3、驗(yàn)對(duì)比得知,基于倒排索引改進(jìn)的算法能達(dá)到6-7倍的速度提升,性能遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的文本聚類算法。由于實(shí)驗(yàn)沒有標(biāo)準(zhǔn)的語料集合,本文通過人工標(biāo)注的方式獲得了一個(gè)測(cè)試集合,測(cè)試集合包含26個(gè)事件,共計(jì)2817篇文檔。通過在測(cè)試集合上面的實(shí)驗(yàn)分析,本文提出的算法能夠獲得較好的精度。本文還對(duì)比了不同的權(quán)重計(jì)算方式在微博數(shù)據(jù)上面的結(jié)果。同時(shí)還對(duì)比了 AP聚類算法和SINGLE-PASS算法在微博數(shù)據(jù)集上的結(jié)果。
　　由于微博數(shù)據(jù)量比較大,文本聚類