基于新聞評論數(shù)據(jù)的K-means聚類算法的研究.pdf

1、互聯(lián)網(wǎng)在經(jīng)濟社會生活中發(fā)揮著日益重要的影響，成為公眾表達民意、參與經(jīng)濟政治及社會生活的一種新的輿論平臺。個人網(wǎng)站、論壇、博客、評論區(qū)的出現(xiàn)，使信息傳播更加便利快捷，個人觀點的表達也更加充分。
　　 中國社會科學院社會藍皮書2010年中國社會形勢分析與預(yù)測指出，網(wǎng)絡(luò)媒體正成為輿論新格局的重要組成部分，網(wǎng)絡(luò)上熱點新聞觀點的表達集中不僅反映了公眾對社會重大公共事件的參與，而且反映了公眾所表現(xiàn)出的各種價值判斷和思想動態(tài)，所形成的影響不可

2、低估，政府應(yīng)該形成對網(wǎng)絡(luò)民意的監(jiān)測、反饋和吸納機制。因此網(wǎng)民在網(wǎng)絡(luò)上有意識或者無意識表達出來的民情民意，對社會熱點問題的關(guān)注表達出的價值取向和觀點越來越具有研究和參考價值。
　　 電子政府融合了現(xiàn)代政府管理理念與最新的信息技術(shù)，通過智能化的信息處理，采用人工智能、數(shù)據(jù)挖掘、管理決策等技術(shù)來實現(xiàn)輔助決策系統(tǒng)，對于提高效率、提高政府回應(yīng)與決策能力、提高決策的科學性和準確性，實現(xiàn)開放型、服務(wù)型、責任型政府具有重要意義。文本聚類技術(shù)中常

3、采用的K-means 聚類算法在實踐中獲得了廣泛的應(yīng)用，它具有高效的計算性能，具有清晰的、全局的目標函數(shù)，聚類過程簡單、高效、魯棒，適用于許多類型的數(shù)據(jù)。然而不同的應(yīng)用需求、不同類型的數(shù)據(jù)對K-means算法提出了不同的要求。
　　 如何從大型門戶網(wǎng)上熱點新聞評論信息中提取出可供決策參考的結(jié)果是需要研究的問題，能夠自動對評論信息進行聚類分析是解決這個問題的關(guān)鍵。本文選擇K-means 聚類算法，采用文本聚類技術(shù)，圍繞評論信息的聚

4、類問題做了一些探索性的工作，期望能夠從這些評論信息中得出有價值的觀點結(jié)果，有效提供給政府相關(guān)部門，用于在公共決策中吸納、監(jiān)測民意和輔助決策參考。在新聞評論聚類實現(xiàn)過程中，采用向量空間模型的文本表示方法，將最初的評論數(shù)據(jù)經(jīng)過中文分詞、特征提取、權(quán)重計算等處理，把評論文本數(shù)據(jù)轉(zhuǎn)化成可進行聚類運算的向量，再進行聚類分析。并針對新聞評論數(shù)據(jù)的特點和K-means算法的主要缺點和不足，構(gòu)建了新聞評論專用停用詞表，對聚類算法實現(xiàn)中的關(guān)鍵環(huán)節(jié)特征項提