智能信息處理技術(shù)在互聯(lián)網(wǎng)輿情分析中的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)絡(luò)的快速發(fā)展，互聯(lián)網(wǎng)日漸成為輿情產(chǎn)生和傳播的主要場所。為了加強互聯(lián)網(wǎng)管理和監(jiān)控，互聯(lián)網(wǎng)輿情信息的匯集整理與分析成為目前各級政府部門急需解決的現(xiàn)實問題。輿情監(jiān)控分析系統(tǒng)可以實現(xiàn)海量互聯(lián)網(wǎng)輿情自動實時的監(jiān)測分析，有效地解決傳統(tǒng)人工方式對輿情監(jiān)測的實施難題。在諸多互聯(lián)網(wǎng)輿情智能分析功能中，輿情熱點自動發(fā)現(xiàn)和分析技術(shù)的研究和應(yīng)用是其中重要的一環(huán)，可以幫助用戶及時快捷地了解和掌握互聯(lián)網(wǎng)熱點，為掌握社情民意起到推動作用。 研究了輿

2、情熱點的自動發(fā)現(xiàn)及深入分析技術(shù)，本文針對輿情熱點自動檢測的實際應(yīng)用，提出了一個實用的輿情熱點動態(tài)檢測算法。該算法通過引入如下幾個步驟提高了輿情熱點檢測的效果：在主題排序方面，綜合考慮了主題的時間和數(shù)量特性，為某一時刻的每個主題給出一個合理得分值：引入主題合并和調(diào)整的機制，克服同一個主題被誤分為多個小主題的問題；引入主題內(nèi)報道淘汰的機制，避免主題內(nèi)容過于寬泛;在主題描述方面，提出了將特征詞和報道標(biāo)題相結(jié)合的方法。實驗表明，在實際應(yīng)用場景中

3、，本文所述方法明顯提高了輿情熱點的檢測效果。 在多文檔的自動關(guān)鍵詞提取方面，本文提出了結(jié)合詞性規(guī)則和統(tǒng)計信息的方法，有效利用多個文檔所反映的的全局性的重要信息，同時又盡可能的過濾掉信息冗余。該方法首先基于詞性標(biāo)注結(jié)果找出名詞、動詞、名詞短語作為候選關(guān)鍵詞；然后過濾部分候選關(guān)鍵詞，并計算其余候選關(guān)鍵詞的權(quán)重；最后根據(jù)用戶所需個數(shù)給出最終關(guān)鍵詞列表。在中文測試集上的實驗證明了該方法的有效性。 在輿情褒貶分析方面，本文分別在如

4、下三個方面進行了研究。一是提出了基于搜索引擎摘要和基于同義詞詞林的兩種詞匯褒貶計算方法：其中前者利用搜索引擎摘要中的詞匯共現(xiàn)關(guān)系提高詞匯褒貶判斷的準(zhǔn)確率：后者利用同義詞詞林中的詞群關(guān)系根據(jù)種子詞匯擴展褒貶義詞詞典。二是分析了基于褒貶義詞詞典和基于機器學(xué)習(xí)的兩種文檔褒貶分析方法：其中前者集成了HowNet、同義詞詞林以及領(lǐng)域褒貶義詞詞典，具有較高的準(zhǔn)確率；后者則利用機器學(xué)習(xí)方法從訓(xùn)練文檔中學(xué)習(xí)褒貶特征，具有較好的總體性能。三是提出了基于詞