基于語義統(tǒng)計分析的網(wǎng)絡(luò)輿情挖掘技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和網(wǎng)絡(luò)應(yīng)用的普及，互聯(lián)網(wǎng)成為民眾獲取信息的重要來源，同時也成為人們傳播信息和表達觀點的重要渠道。通過網(wǎng)絡(luò)了解社情民意，關(guān)注輿情動向，對于促進社會和諧穩(wěn)定、推動社會民主與法制建設(shè)具有重要的現(xiàn)實意義。
　　 網(wǎng)絡(luò)信息浩如煙海，魚龍混雜，人工識別和研判顯得力不從心。如何利用計算機網(wǎng)絡(luò)技術(shù)、人工智能技術(shù)和數(shù)據(jù)挖掘技術(shù)，對網(wǎng)絡(luò)輿情信息有效地挖掘和分析成為了一個新的研究熱點。如何識別民眾所關(guān)注的熱點話題并有效地分類，如何

2、判斷民眾對社會事件的態(tài)度是正向的還是反向的，如何分析和把握社會熱點事件的波動性等，是網(wǎng)絡(luò)輿情研究中的亟需解決的重點問題，對認識和引導(dǎo)網(wǎng)絡(luò)輿情具有重要的科學(xué)意義。
　　 本文針對網(wǎng)絡(luò)輿情信息的挖掘和分析中存在的問題展開研究，將基于Web的文本分類技術(shù)、機器學(xué)習算法研究、波動性的統(tǒng)計分析等技術(shù)應(yīng)用到網(wǎng)絡(luò)突發(fā)事件的分類、網(wǎng)絡(luò)輿情信息的情感傾向性分析、輿情演變的波動性分析等研究中。主要的研究內(nèi)容和創(chuàng)新點包括：
　　 1.本文提出

3、將Fisher判別準則應(yīng)用到網(wǎng)絡(luò)輿情文本的分類問題中，并實現(xiàn)對突發(fā)事件的分類。由突發(fā)事件引發(fā)的網(wǎng)絡(luò)輿情信息，從內(nèi)容形式來看主要為文本，因此輿情信息的分類本質(zhì)上是文本分類的問題。Fisher判別準則是解決降維問題的有效方法之一，但在文本分類中研究較少。本文將Fisher判別準則作為分類的特征提取的方法應(yīng)用于文本分類，并應(yīng)用于網(wǎng)絡(luò)突發(fā)事件新聞報道的分類。針對輿情的相關(guān)研究，將突發(fā)事件按照公共安全的四類，即突發(fā)自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件

4、和社會安全事件進行分類。實驗證明，F(xiàn)isher準則的方法略遜于信息增益，但比較其他特征選擇方法都更好。
　　 2.本文提出基于類別相關(guān)度的局部潛在語義分析的算法LR-LSA，改進了局部潛在語義分析算法進行文本分類。分析介紹了潛在語義分析的原理，包括奇異值分解和計算文檔間相似關(guān)系的方法。通過分析潛在語義分析方法的局限性，提出算法LR*LSA，先利用SVM分類器給每篇文檔一個類別相關(guān)度，然后根據(jù)相關(guān)度的大小選擇生成局部區(qū)域的方法。在

5、中文Web文本語料的兩組分類實驗中，驗證了算法LR-LSA比LSA和LC-LSA更有效。
　　 3.針對機器學(xué)習方法在情感傾向性分析中對情感語義信息考慮不足的問題，本文提出了將情感模式和機器學(xué)習相結(jié)合的方法PMML，并應(yīng)用于Web評論文本的情感傾向性分類。介紹了情感傾向性分析的相關(guān)研究，包括不同粒度級的基于情感詞典分析的分類方法，以及基于機器學(xué)習的情感傾向性分類方法。利用本文提出的方法PMML對Web評論文本分類，在對原始語料文

6、本進行基本的分詞之后，先進行關(guān)鍵詞提取，再進行模式匹配來提取情感評價短語，匹配成功后形成相應(yīng)的情感特征序列，分別計算每個特征的情感傾向值，再通過機器學(xué)習的方法最終得到文本的情感傾向。實驗驗證了PMML方法較之機器學(xué)習的方法在分類效果上的有效性。
　　 4.本文提出基于GARCH類模型的網(wǎng)絡(luò)輿情信息演變的波動性研究方法。在熱點事件的傳播過程中，波動性是其重要特征之一，強烈的波動往往意味著信息內(nèi)容的不斷傳播和各種流言的不斷蔓延，存在

7、轉(zhuǎn)變?yōu)橥话l(fā)事件的可能性。通過分析網(wǎng)絡(luò)輿情演變過程中的波動性的特點，如變化率序列呈現(xiàn)的異方差性、尖鋒厚尾性等，對比金融領(lǐng)域的波動性，本文提出基于GARCH類模型的波動性研究方法。通過熱點事件在主流搜索引擎中采集到的Web頁面數(shù)，定量地分析與這個事件相關(guān)的輿情演變趨勢。選擇社會熱點事件“溫州動車事故”，通過收集數(shù)據(jù)，分析變化率，分別建立了GARCH，EGARCH，TARCH模型。實證分析了說明GARCH類模型對輿情演變的波動性分析的可行性。