互聯(lián)網(wǎng)輿情信息采集與分析系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)快速的發(fā)展，互聯(lián)網(wǎng)日益成為輿情產(chǎn)生、傳播的重要媒介。越來(lái)越多的人，通過(guò)互聯(lián)網(wǎng)表達(dá)政治訴求，從互聯(lián)網(wǎng)這一自由開(kāi)放的媒體中了解民意，開(kāi)展互聯(lián)網(wǎng)輿情信息的監(jiān)控與分析，已經(jīng)成為目前各級(jí)政府部門(mén)面臨的重要課題?；ヂ?lián)網(wǎng)輿情信息采集與分析系統(tǒng)就是應(yīng)對(duì)這一發(fā)展勢(shì)頭，為互聯(lián)網(wǎng)輿情分析提供基礎(chǔ)性的數(shù)據(jù)和工具集合，幫助輿情分析領(lǐng)域的社會(huì)科學(xué)專(zhuān)家分析互聯(lián)網(wǎng)輿情指數(shù)，捕捉敏感事件，分析民意走向。
　　本文按照互聯(lián)網(wǎng)輿情信息存在的特征，綜合運(yùn)用多種

2、軟件設(shè)計(jì)模式，設(shè)計(jì)了針對(duì)互聯(lián)網(wǎng)輿情采集的網(wǎng)絡(luò)爬蟲(chóng)模塊。本模塊實(shí)現(xiàn)了獨(dú)立運(yùn)作的多機(jī)多進(jìn)程的網(wǎng)絡(luò)爬蟲(chóng)功能。該功能針對(duì)承載輿情信息的主要互聯(lián)網(wǎng)媒體——論壇、新聞、博客、社交媒體等的采集過(guò)程進(jìn)行了優(yōu)化，配置了靈活的采集策略，設(shè)計(jì)了通過(guò)人工制定信息提取腳本對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化信息提取的方法。該模塊為后面的輿情分析模塊源源不斷的提供最新的互聯(lián)網(wǎng)信息。
　　本文根據(jù)互聯(lián)網(wǎng)輿情信息分析的需求，結(jié)合由網(wǎng)絡(luò)爬蟲(chóng)模塊獲取的結(jié)構(gòu)化信息，設(shè)計(jì)了輿情分析模塊

3、。輿情分析模塊結(jié)合了中文信息處理領(lǐng)域的若干技術(shù)，包括文本自動(dòng)摘要技術(shù)、信息指紋技術(shù)、文本分類(lèi)技術(shù)、文本聚類(lèi)技術(shù)等，為輿情分析領(lǐng)域?qū)＜姨峁┝艘唤M輿情分析工具。該功能實(shí)現(xiàn)了自動(dòng)輿情分類(lèi)、自動(dòng)摘要提取、自動(dòng)轉(zhuǎn)載統(tǒng)計(jì)、自動(dòng)指數(shù)統(tǒng)計(jì)、熱門(mén)主題發(fā)現(xiàn)等功能。通過(guò)領(lǐng)域?qū)＜覍?duì)結(jié)果進(jìn)行人工鑒定，自動(dòng)摘要技術(shù)在測(cè)試樣本空間內(nèi)達(dá)到79.25％的平均準(zhǔn)確率。信息指紋技術(shù)達(dá)到78.69%的平均準(zhǔn)確率，文本分類(lèi)技術(shù)達(dá)到69.02%的平均查全率與70.33%的平均查準(zhǔn)

4、率，文本聚類(lèi)技術(shù)亦可為領(lǐng)域?qū)＜姨峁┯袇⒖純r(jià)值的熱點(diǎn)主題聚類(lèi)結(jié)果。本文所實(shí)現(xiàn)的系統(tǒng)，為領(lǐng)域?qū)＜姨峁┝藦?qiáng)有力的輿情分析工具。隨著人工設(shè)定的關(guān)鍵詞邏輯表達(dá)式準(zhǔn)確度的不斷提高，系統(tǒng)分類(lèi)的準(zhǔn)確度也隨之提高。
　　本文結(jié)合互聯(lián)網(wǎng)領(lǐng)域輿情專(zhuān)家的經(jīng)驗(yàn)，通過(guò)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)源源不斷的提供互聯(lián)網(wǎng)信息，及對(duì)信息進(jìn)行分析、統(tǒng)計(jì)和結(jié)果呈現(xiàn)，幫助領(lǐng)域?qū)＜覐暮Ａ康幕ヂ?lián)網(wǎng)信息中提取輿情信息，發(fā)現(xiàn)輿情焦點(diǎn)，歸納輿情意向，并將結(jié)果以階段性分析報(bào)告形式提供給政府相關(guān)部門(mén)作