網(wǎng)絡(luò)輿情分析關(guān)鍵技術(shù)研究與實現(xiàn).pdf

1、隨著計算機(jī)技術(shù)和通信技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)己成為了人們生活的不可缺少的組成部分。據(jù)國際電聯(lián)統(tǒng)計，截止至2010年12月，全球互聯(lián)網(wǎng)用戶總數(shù)已經(jīng)超過20億。其中，我國的互聯(lián)網(wǎng)用戶數(shù)量已經(jīng)超過3.9億。網(wǎng)絡(luò)被公認(rèn)為是繼報紙、廣播、電視之后的“第四媒體”，民眾知情權(quán)、表達(dá)權(quán)、參與權(quán)、監(jiān)督權(quán)在互聯(lián)網(wǎng)上已基本得到落實。網(wǎng)民對企業(yè)、民生、政府管理、反腐敗、社會道德等熱點問題在互聯(lián)網(wǎng)上踴躍發(fā)表意見，這些意見形成一種強(qiáng)大的輿論壓力，其影響已經(jīng)大大超過了

2、傳統(tǒng)媒體。網(wǎng)絡(luò)已經(jīng)成為反映社會輿情的最主要載體。
　　在網(wǎng)絡(luò)輿情迅猛發(fā)展的同時，對網(wǎng)絡(luò)輿情分析監(jiān)控工作顯得愈發(fā)重要。網(wǎng)絡(luò)具有的開放性和相對自由的寬松度，使得民眾發(fā)言擺脫了社會權(quán)利體制的管制和限制，可以暢所欲言無所顧忌的表達(dá)個人的觀點、立場、情緒，民意表達(dá)更為暢通。網(wǎng)絡(luò)也由于其虛擬性也帶來了很大的安全隱患，發(fā)言者身份隱蔽，并且缺少規(guī)則限制和有效監(jiān)督，因此網(wǎng)絡(luò)很容易成為一些網(wǎng)民發(fā)泄不良情緒的空間。而且由于目前我國正處于社會轉(zhuǎn)型期，存在

3、諸多矛盾，再加上少數(shù)社會管理者對于輿論習(xí)慣性的回避或堵塞，因此，非常需要使用輿情分析系統(tǒng)對網(wǎng)絡(luò)輿情進(jìn)行分析監(jiān)控，及時防范誤導(dǎo)性輿論造成的社會危害，把握和保障正確輿論的前進(jìn)導(dǎo)向，為構(gòu)建和諧社會的輿情保駕護(hù)航。
　　本論文對網(wǎng)絡(luò)輿情分析系統(tǒng)進(jìn)行需求分析，提出了系統(tǒng)的設(shè)計方案，并實現(xiàn)了系統(tǒng)中網(wǎng)頁文本分類和文本傾向性分析等關(guān)鍵技術(shù)。本論文的先進(jìn)性表現(xiàn)在：
　　1)針對現(xiàn)有的通用爬蟲技術(shù)存在的局限性，提出了一種基于爬行策略和過濾策略的

4、數(shù)據(jù)采集方法，過濾大量無用信息；同時制定了針對輿情分析系統(tǒng)的網(wǎng)頁庫更新策略，保證本地網(wǎng)頁庫的時新性。
　　2)通過對基于樸素貝葉斯的網(wǎng)頁文本分類技術(shù)進(jìn)行研究，提出了一種基于粗糙集改進(jìn)的樸素貝葉斯分類方法，并將該方法運用到輿情分析系統(tǒng)的輿情分類中。
　　3)通過對現(xiàn)有的基于語義和基于機(jī)器學(xué)習(xí)的文本傾向性分析技術(shù)分別進(jìn)行了探討，并結(jié)合兩類方法的優(yōu)點，提出了一種基于語義改進(jìn)的機(jī)器學(xué)習(xí)文本傾向性分析方法，并將該方法成功的應(yīng)用到輿情分