基于云計算的網(wǎng)絡輿情熱點發(fā)現(xiàn)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)傳播成為主要的社會信息傳播方式，當社會上出現(xiàn)了突發(fā)的敏感事件時，公眾輿論會迅速集聚在網(wǎng)絡上，網(wǎng)絡輿情事件也就隨之形成。由于網(wǎng)絡輿情具有內容豐富、信息量大、相關話題繁多等特點，這也讓網(wǎng)絡上更容易出現(xiàn)傳統(tǒng)意義上的低俗、露骨、色情、暴力，甚至是危害國家和諧、穩(wěn)定和安全的信息與言論，網(wǎng)絡輿情熱點發(fā)現(xiàn)可以幫助決策者快速準確的對網(wǎng)民聚焦的話題進行關注。網(wǎng)絡輿情熱點發(fā)現(xiàn)整個過程就是一個文本挖掘過程，但傳統(tǒng)的文本挖掘過程難以

2、適應網(wǎng)絡輿情所具備的上述特性，故解決挖掘算法在效率、適應性和可用性等方面的瓶頸問題變得日益重要。
　　本文參考借鑒近年來文本挖掘領域的相關理論與技術的最新研究成果，對傳統(tǒng)的文本挖掘模型進行了分析研究，并進行了包括數(shù)據(jù)采集、中文分詞、特征提取、特征項權重計算、文本特征向量空間表示模型的建立、相似度分析、聚類算法和熱度分析的實現(xiàn)。針對傳統(tǒng)文本表示模型建立過程中存在的特征項過多的問題，結合網(wǎng)絡輿情數(shù)據(jù)具備的短文本特性，給出了基于語義特征

3、項頻率的輿情短文本表示模型降維方法，以降低文本表示模型的維度；在聚類算法中選取了經(jīng)典的增量聚類算法Single-Pass，針對該算法存在的不足，給出了改進Single-Pass聚類算法，以解決聚類過程中算法對輸入數(shù)據(jù)順序的敏感性和求解效率的問題，并提出了網(wǎng)絡輿情熱度分析模型；在上述工作基礎上，對數(shù)據(jù)預處理部分和聚類分析部分進行了基于MapReduce的并行化處理和實驗驗證，并利用圖表對求解效率和求解質量進行了分析。本課題所研究的基于云計