基于VSM-BTM主題模型的微博熱點(diǎn)話題發(fā)現(xiàn)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，微博作為一種社交媒體已經(jīng)獲得了社會(huì)各界的廣泛關(guān)注。但是如何從海量、不規(guī)則的微博數(shù)據(jù)中高效地提取出有效的信息來進(jìn)行話題發(fā)現(xiàn)，仍然是目前亟待解決的問題。因此，使用主題模型挖掘微博數(shù)據(jù)的方法得以產(chǎn)生。目前，學(xué)者們已經(jīng)對(duì)于主題模型進(jìn)行了大量的研究，但現(xiàn)有的方法技術(shù)仍然存在一些不足，主要體現(xiàn)在：一是計(jì)算的復(fù)雜度太高，對(duì)于大數(shù)據(jù)級(jí)別的微博數(shù)據(jù)計(jì)算的效率不高；二是使用一些主題模型（比如傳統(tǒng)的 LDA模型）對(duì)微博這種短文把數(shù)據(jù)進(jìn)行

2、聚類后的準(zhǔn)確度不高等?；诖?，本文提出了一種融入改進(jìn)的VSM模型和BTM主題模型和改進(jìn)的適合微博數(shù)據(jù)的K-Means聚類方法的新浪微博數(shù)據(jù)挖掘方法，在保證計(jì)算微博數(shù)據(jù)效率的同時(shí)，提高微博數(shù)據(jù)挖掘的準(zhǔn)確度。
　　本文對(duì)VSM-BTM主題模型的微博數(shù)據(jù)挖掘方法進(jìn)行了研究，研究?jī)?nèi)容主要分為微博數(shù)據(jù)的預(yù)處理、VSM-BTM建模、適合微博的聚類方法三個(gè)部分。其中，微博數(shù)據(jù)的預(yù)處理包括分詞、去停用詞、刪除噪音數(shù)據(jù)等過程，并將預(yù)處理的結(jié)果以tx

3、t格式的文本保存，作為下一步主題建模的輸入。在VSM-BTM建模過程中，首先使用現(xiàn)有的BTM主題模型進(jìn)行建模，對(duì)數(shù)據(jù)預(yù)處理的結(jié)果進(jìn)行不斷地迭代，得到“文檔-主題”矩陣和“主題-詞語”矩陣，同時(shí)，利用BTM主題模型生成的詞庫表和微博數(shù)據(jù)轉(zhuǎn)碼結(jié)果，提出了一種使用JS距離和余弦距離相結(jié)合計(jì)算微博數(shù)據(jù)之間的相似度的方法。適合微博的聚類方法是使用適合微博數(shù)據(jù)的改進(jìn)K-Means聚類方法對(duì)建模結(jié)果進(jìn)行聚類分析，主要是通過利用現(xiàn)有微博數(shù)據(jù)選取合適的初

4、始簇和計(jì)算距離的方法對(duì)傳統(tǒng)的K-Means聚類算法進(jìn)行了改進(jìn)。最后采用準(zhǔn)確率、召回率和F1值對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析評(píng)價(jià)。使用VSM-BTM主題模型進(jìn)行建模的方法避免了微博數(shù)據(jù)稀疏性的缺陷，且不需要使用外部信息對(duì)微博數(shù)據(jù)進(jìn)行擴(kuò)充，降低了對(duì)文本以外信息的依賴性。
　　通過實(shí)驗(yàn)，本文對(duì)單純的LDA主題模型、單純的BTM主題模型和本文提出的VSM-BTM主題模型的微博熱點(diǎn)話題發(fā)現(xiàn)效果進(jìn)行對(duì)比分析，以3個(gè)主題模型的準(zhǔn)確率、召回率和F1值為對(duì)比分