基于Hadoop的微博話題分析系統(tǒng)設計與實現(xiàn).pdf

1、新浪微博是當下非常流行的互聯(lián)網(wǎng)媒體，用戶可以這個平臺上發(fā)表自己的觀點。每天發(fā)布的微博總量有數(shù)億之多，這些數(shù)據(jù)極為龐大卻又非常的碎片化。為了及時掌控輿情動態(tài)以及幫助用戶獲得最新熱點，就需要從微博數(shù)據(jù)中獲取熱點話題。雖然新浪微博官方已經(jīng)提供了“熱門話題”的功能，但是其中含有較多手動編輯的因素，這種辦法不僅浪費人力而且不能反映真實情況。為了解決這個問題，本文設計并且實現(xiàn)了一個基于Hadoop的微博熱點話題發(fā)現(xiàn)系統(tǒng)。
　　論文介紹了常用的

2、話題檢測技術，分析了LDA主題模型的發(fā)展過程與其意義，接著介紹了目前流行的分布式計算框架的特性與適用場景。在對微博原始數(shù)據(jù)進行分析之后，通過觀察可以發(fā)現(xiàn)其中有很多廣告類型的垃圾數(shù)據(jù)，為了減少信息噪聲，通過使用排序、過濾與分詞等預處理操作對原始微博數(shù)據(jù)進行清洗，最終得到了百G級別的訓練用數(shù)據(jù)集。之后本文利用微博文本的碎片化的特點，設計了一種改進版的LDA模型。該模型所使用的新型抽樣方法可以極大的減少模型訓練的時間復雜度，所使用的改進版的數(shù)