基于語義的網(wǎng)絡輿情熱點話題發(fā)現(xiàn)研究.pdf

1、隨著社會的進步，互聯(lián)網(wǎng)逐漸成為人們表達輿論的又一個重要平臺。網(wǎng)絡具有傳播迅速、用戶匿名等諸多特性，由于這些特點，一方面，網(wǎng)絡對社會輿論起到了很好的監(jiān)督作用，但另一方面也容易包含反動、迷信和黃色的內(nèi)容，給社會安定甚至國家安全帶來困擾。因此，如何在豐富的網(wǎng)絡信息中及時發(fā)現(xiàn)網(wǎng)民共同關心的熱點問題，幫助政府及時了解當前社會重要事件及輿論方向就顯得十分重要。
　　本文主要研究如何在海量信息中找出被大眾關注的熱點話題。現(xiàn)有的網(wǎng)絡輿情熱點話題發(fā)

2、現(xiàn)方法大多是運用傳統(tǒng)的文本聚類技術，但傳統(tǒng)技術沒有考慮文本信息間的語義聯(lián)系，往往得到不準確的話題分類結果，也就影響了話題的熱點分析效果。本文針對在文本聚類過程中容易缺失語義信息的缺點，對傳統(tǒng)方法進行改進，具體工作主要有:一是信息采集和預處理技術，研究如何從松散的非結構化信息中采集并抽取語料。利用網(wǎng)絡爬蟲技術和網(wǎng)頁凈化技術、中文分詞技術，實現(xiàn)網(wǎng)絡信息的自動采集與結構化存儲;二是話題發(fā)現(xiàn)技術，通過文本聚類算法，將采集并處理的文本聚為表示不同

3、話題的文檔集，形成各個話題簇，運用統(tǒng)計學方法建立話題發(fā)現(xiàn)模型，進行熱點分析;三是改進傳統(tǒng)的話題發(fā)現(xiàn)技術，構建了一個基于語義分析的熱點話題發(fā)現(xiàn)模型框架，利用語義Web及本體技術中的相關知識改進文本聚類中的各個子模塊，主要是對文本表示模型和文本相似度計算兩個子模塊做了改進;四是通過實驗數(shù)據(jù)，從查準率和查全率等方面對傳統(tǒng)方法和改進方法的結果進行比對;五是通過對信息采集和網(wǎng)頁預處理的輔助模塊的了解、傳統(tǒng)話題聚類方法的研究、以及語義相關知識的重點