基于CMB-LDA的微博主題挖掘.pdf

1、隨著計算機互聯(lián)網(wǎng)技術的高速發(fā)展，微博作為一種信息傳播速度快、用戶互動性強、信息實時性高的新型網(wǎng)絡媒體很快得到人們的認可，成為人們了解時事信息、分享個人生活點滴重要平臺。僅新浪微博一例，每日就有幾億條新微博，其中包含大量時事信息。對于如此重要的網(wǎng)絡媒體，如何及時的獲取其中的熱點主題、用戶關注的主題方向、社會熱點話題的輿論方向顯得非常重要。
　　本文在傳統(tǒng)LDA模型的基礎上，結合四種類型微博（@類型微博、話題類型微博、轉發(fā)類型微博、回

2、復類型微博）特點，提出中文微博主題模型CMB-LDA(Chinese MicroBlog-Latent Dirichlet Allocation)。從國內中文微博平臺（主要是新浪微博）上爬取微博數(shù)據(jù)，利用開源的漢語分詞系統(tǒng)NLPIR對微博數(shù)據(jù)分詞處理，去掉停用詞，挖掘出2013年7月到2013年12月之間微博數(shù)據(jù)的主題，并通過實驗對比LDA模型與CMB-LDA模型的Perplexity性能。全文有下面幾點貢獻:
　　1)挖掘出用戶

3、與主題之間的關系。對于一條@到某個用戶的微博，說明這個被@的用戶與這條微博的主題有關聯(lián)關系，根據(jù)這種關聯(lián)關系，只要知道了微博的主題，就可以知道被@的用戶關注的主題，這樣就可以挖掘出用戶與主題之間潛在的語義價值。微博平臺可以根據(jù)這種潛在的語義關系向用戶做個性化的推薦。
　　2)挖掘出熱門話題下的主題。CMB-LDA模型在傳統(tǒng)主題挖掘“文檔-主題”概念的基礎上提出“話題-主題”的概念，即一個話題下，用戶討論了那些主題。該模型的做法是挖

4、掘出與話題相關聯(lián)的微博主題，進而找到話題下用戶關注那些主題。根據(jù)這一信息，微博平臺可以分析出熱門事件中民眾的輿論方向，有利于知悉和引導民眾輿論。
　　3)實驗驗證CMB-LDA模型性能。本文通過實驗分別計算出LDA模型與CMB-LDA模型的Perplexity值，實驗結果表明在相同的迭代次數(shù)下CMB-LDA模型的Perplexity值更?。╬erplexity值越小表明模型性能越好）。
　　4)使用Gibbs Samplin