面向網(wǎng)絡(luò)輿情監(jiān)測(cè)的關(guān)鍵技術(shù)研究.pdf

1、隨著Web2.0技術(shù)的不斷發(fā)展和Web終端的迅速普及,越來(lái)越多的民眾開(kāi)始參與到網(wǎng)上的交流活動(dòng)中來(lái),互聯(lián)網(wǎng)已逐漸成為了輿情產(chǎn)生和傳播的重要場(chǎng)所。網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)不僅可以減少各級(jí)政府部門(mén)在網(wǎng)絡(luò)輿情監(jiān)測(cè)方面的人力和物力方面的投入,還能提升網(wǎng)絡(luò)輿情監(jiān)測(cè)的效果。
　　 由于互聯(lián)網(wǎng)的開(kāi)放性和虛擬性,互聯(lián)網(wǎng)輿情具有自由、傳播迅速和隱蔽等特點(diǎn),這使得傳統(tǒng)的信息檢索技術(shù)很難直接應(yīng)用到網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)中來(lái)。本文通過(guò)深入研究網(wǎng)絡(luò)輿情監(jiān)測(cè)相關(guān)技術(shù),提出

2、網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)的框架。并圍繞著論壇爬蟲(chóng)這一關(guān)鍵技術(shù),通過(guò)對(duì)論壇網(wǎng)站的結(jié)構(gòu)特點(diǎn)的分析,構(gòu)建論壇網(wǎng)站的層次模型,實(shí)現(xiàn)對(duì)不同論壇網(wǎng)站的抓取。本文的主要成果可歸納為以下幾個(gè)方面:
　　 本文在深入研究信息檢索、自然語(yǔ)言處理和文本挖掘等網(wǎng)絡(luò)輿情監(jiān)測(cè)相關(guān)技術(shù)的基礎(chǔ)上,設(shè)計(jì)一個(gè)網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)框架?；谠摽蚣?本文最終在分布式基礎(chǔ)架構(gòu)Hadoop上實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)輿情監(jiān)測(cè)原型系統(tǒng)。針對(duì)網(wǎng)絡(luò)輿情信息分布不同類(lèi)型網(wǎng)站的情況,使用多種信息采集的方式