基于MapReduce的熱點話題發(fā)現(xiàn)及演化分析方法研究.pdf

1、隨著信息時代的來臨，網(wǎng)絡中的信息量呈爆炸式增長趨勢，人們是對信息的處理提出了更高的要求。更多、更快、更準的進行信息處理就意味著可以掌握先機，可以得到更具有價值的情報，可以產(chǎn)生更大的經(jīng)濟效益。話題發(fā)現(xiàn)及演化作為增量式文本聚類的主要應用之一，具有很廣泛的應用前景，在大數(shù)據(jù)背景下，現(xiàn)有的增量式文本聚類算法大多存在處理效率低下，處理結(jié)果較差等問題，很大程度上影響了話題發(fā)現(xiàn)的實時性，已經(jīng)遠遠不能滿足處理大數(shù)據(jù)的需求。
　　本文首先介紹了熱點

2、話題發(fā)現(xiàn)的關(guān)鍵技術(shù)流程，比較了現(xiàn)有話題發(fā)現(xiàn)及演化算法的優(yōu)勢與不足，最終選擇利用增量式文本聚類算法 S ingle-Pass來實現(xiàn)熱點話題發(fā)現(xiàn)及演化分析方法，本文針對傳統(tǒng) S ingle-Pass算法處理文本的時間開銷會隨著文本增加呈指數(shù)趨勢增長的問題，提出了一種基于MapRed uce的S ingle-Pass算法，對分布式的S ingle-Pass算法做進行了可行性證明，實驗結(jié)果證明算法的效率有了明顯提高，針對簡單的分布式 S ing

3、le-Pass算法無法詳細描述話題的內(nèi)部結(jié)構(gòu)及演化過程，提出了一種分布式條件下的層次化 S ingle-Pass算法，算法提高了話題的描述能力，實驗證明分布式條件下的層次化 S ingle-Pass算法提高話題發(fā)現(xiàn)的精度和準確度。
　　其次，本文分析了現(xiàn)有網(wǎng)頁文本的特點，根據(jù)網(wǎng)頁文本的特點提出了一種合理的話題熱度計算方法，通過加入衰減指數(shù)和時間片的概念，提出增量式文本聚類與衰減指數(shù)相結(jié)合的話題動態(tài)演化方法，通過話題熱度計算公式計算