基于CMB-LDA的微博主題挖掘.pdf

1、隨著計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，微博作為一種信息傳播速度快、用戶互動(dòng)性強(qiáng)、信息實(shí)時(shí)性高的新型網(wǎng)絡(luò)媒體很快得到人們的認(rèn)可，成為人們了解時(shí)事信息、分享個(gè)人生活點(diǎn)滴重要平臺(tái)。僅新浪微博一例，每日就有幾億條新微博，其中包含大量時(shí)事信息。對(duì)于如此重要的網(wǎng)絡(luò)媒體，如何及時(shí)的獲取其中的熱點(diǎn)主題、用戶關(guān)注的主題方向、社會(huì)熱點(diǎn)話題的輿論方向顯得非常重要。
　　本文在傳統(tǒng)LDA模型的基礎(chǔ)上，結(jié)合四種類型微博（@類型微博、話題類型微博、轉(zhuǎn)發(fā)類型微博、回

2、復(fù)類型微博）特點(diǎn)，提出中文微博主題模型CMB-LDA(Chinese MicroBlog-Latent Dirichlet Allocation)。從國(guó)內(nèi)中文微博平臺(tái)（主要是新浪微博）上爬取微博數(shù)據(jù)，利用開源的漢語(yǔ)分詞系統(tǒng)NLPIR對(duì)微博數(shù)據(jù)分詞處理，去掉停用詞，挖掘出2013年7月到2013年12月之間微博數(shù)據(jù)的主題，并通過(guò)實(shí)驗(yàn)對(duì)比LDA模型與CMB-LDA模型的Perplexity性能。全文有下面幾點(diǎn)貢獻(xiàn):
　　1)挖掘出用戶

3、與主題之間的關(guān)系。對(duì)于一條@到某個(gè)用戶的微博，說(shuō)明這個(gè)被@的用戶與這條微博的主題有關(guān)聯(lián)關(guān)系，根據(jù)這種關(guān)聯(lián)關(guān)系，只要知道了微博的主題，就可以知道被@的用戶關(guān)注的主題，這樣就可以挖掘出用戶與主題之間潛在的語(yǔ)義價(jià)值。微博平臺(tái)可以根據(jù)這種潛在的語(yǔ)義關(guān)系向用戶做個(gè)性化的推薦。
　　2)挖掘出熱門話題下的主題。CMB-LDA模型在傳統(tǒng)主題挖掘“文檔-主題”概念的基礎(chǔ)上提出“話題-主題”的概念，即一個(gè)話題下，用戶討論了那些主題。該模型的做法是挖

4、掘出與話題相關(guān)聯(lián)的微博主題，進(jìn)而找到話題下用戶關(guān)注那些主題。根據(jù)這一信息，微博平臺(tái)可以分析出熱門事件中民眾的輿論方向，有利于知悉和引導(dǎo)民眾輿論。
　　3)實(shí)驗(yàn)驗(yàn)證CMB-LDA模型性能。本文通過(guò)實(shí)驗(yàn)分別計(jì)算出LDA模型與CMB-LDA模型的Perplexity值，實(shí)驗(yàn)結(jié)果表明在相同的迭代次數(shù)下CMB-LDA模型的Perplexity值更?。╬erplexity值越小表明模型性能越好）。
　　4)使用Gibbs Samplin