微博熱點(diǎn)話(huà)題發(fā)現(xiàn)方法研究.pdf

1、微博自誕生以來(lái)就以其廣泛的參與性，改變了人們獲取新聞的方式，近年來(lái)許多的熱點(diǎn)新聞都是通過(guò)微博首先發(fā)布的，因此對(duì)微博進(jìn)行熱點(diǎn)話(huà)題挖掘具有重要的現(xiàn)實(shí)意義。但微博信息量大、信息分散等特點(diǎn)使得傳統(tǒng)文本處理的方法已不能適應(yīng)于微博信息的處理，如何快速、準(zhǔn)確地發(fā)現(xiàn)微博熱點(diǎn)話(huà)題是本文研究的內(nèi)容。
　　本文在分析微博信息特點(diǎn)的基礎(chǔ)上，使用文本聚類(lèi)方法提出了一種發(fā)現(xiàn)微博熱點(diǎn)話(huà)題的方法，取得的成果如下:
　　(1)提出了一種微博預(yù)處理的方法。根據(jù)

2、微博內(nèi)容上的不同分為原發(fā)、轉(zhuǎn)發(fā)和評(píng)論微博，將轉(zhuǎn)發(fā)和評(píng)論微博合并到原發(fā)微博中。微博與其它文本不同的一個(gè)特點(diǎn)是存在大量的轉(zhuǎn)發(fā)與評(píng)論，它們都是源自原發(fā)微博，因此將轉(zhuǎn)發(fā)和評(píng)論微博合并到原發(fā)微博可以在不影響熱點(diǎn)話(huà)題發(fā)現(xiàn)結(jié)果的基礎(chǔ)上減小微博文本表示的規(guī)模;此外，微博熱點(diǎn)話(huà)題的形成主要是由于用戶(hù)對(duì)該話(huà)題進(jìn)行大量的轉(zhuǎn)發(fā)和評(píng)論，將轉(zhuǎn)發(fā)和評(píng)論微博合并到原發(fā)微博可以形成預(yù)熱點(diǎn)話(huà)題。
　　(2)提出了降低微博文本空間向量表示維度的方法。針對(duì)微博中存在大量

3、干擾詞的情況，本文借鑒微博平臺(tái)上的詞頻統(tǒng)計(jì)方法，在微博文本經(jīng)過(guò)分詞、去停用詞后，統(tǒng)計(jì)文本中每個(gè)詞匯出現(xiàn)的頻率，將頻率低的詞匯去掉，這樣既去掉部分干擾詞，又降低微博文本向量空間表示的維度。
　　(3)提出了基于預(yù)選熱點(diǎn)話(huà)題和時(shí)間窗口限定的單遍聚類(lèi)與層次聚類(lèi)相結(jié)合(TW-SPHC)的算法，對(duì)微博文本進(jìn)行聚類(lèi)。針對(duì)微博熱點(diǎn)話(huà)題存在大量轉(zhuǎn)發(fā)和時(shí)間相近的話(huà)題相似性高的特點(diǎn)，本文在單遍聚類(lèi)前根據(jù)微博合并權(quán)重預(yù)選熱點(diǎn)話(huà)題，并設(shè)定時(shí)間窗口以限定文