面向輿情監(jiān)測(cè)的主題爬蟲(chóng)設(shè)計(jì)與分析.pdf

1、隨著社會(huì)的進(jìn)步，互聯(lián)網(wǎng)逐漸成為人們表達(dá)輿論的一個(gè)重要平臺(tái)。與傳統(tǒng)的媒體相比，網(wǎng)絡(luò)具有傳播迅速、用戶匿名等特點(diǎn)，這對(duì)社會(huì)輿論起到了很好的監(jiān)督作用，但也容易包含反動(dòng)、迷信和黃色的內(nèi)容，給社會(huì)安定甚至國(guó)家安全帶來(lái)困擾。因此，如何在豐富的網(wǎng)絡(luò)信息中及時(shí)獲取當(dāng)前網(wǎng)民關(guān)心的輿情信息，幫助政府及時(shí)了解當(dāng)前社會(huì)重要事件及輿論方向就顯得十分重要。
　　運(yùn)用搜索引擎等信息技術(shù)進(jìn)行網(wǎng)絡(luò)輿情的搜集與監(jiān)控是切實(shí)有效的方法。本文提出了一種改進(jìn)的基于在線增量學(xué)

2、習(xí)的主題爬蟲(chóng)SVM分類器算法。通過(guò)對(duì)傳統(tǒng)主題爬蟲(chóng)SVM分類器的改進(jìn)，將歷史訓(xùn)練集中對(duì)正反例影響較大的樣本剔除并與增量集重新訓(xùn)練來(lái)獲得完備的訓(xùn)練集，以提高獲取率。最后以該算法為基礎(chǔ)構(gòu)建了一個(gè)主題爬蟲(chóng)框架，開(kāi)發(fā)完成了一個(gè)面向網(wǎng)絡(luò)輿情抓取的主題爬蟲(chóng)系統(tǒng)，實(shí)驗(yàn)結(jié)果表明，在網(wǎng)絡(luò)輿情的采集過(guò)程中有效的提高了網(wǎng)絡(luò)輿情信息的獲取率。
　　本文的具體研究工作主要有:一是信息采集和預(yù)處理技術(shù)。研究如何從松散的非結(jié)構(gòu)化信息中采集資料。利用主題爬蟲(chóng)技術(shù)和

3、網(wǎng)頁(yè)凈化技術(shù)、中文分詞技術(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)信息的自動(dòng)采集與結(jié)構(gòu)化存儲(chǔ)。二是SVM分類器分類算法研究。通過(guò)人為設(shè)定的某一主題，經(jīng)過(guò)訓(xùn)練這一主題的訓(xùn)練集得到主題向量的向量模型表示，然后將實(shí)際抓取的頁(yè)面跟訓(xùn)練得到的主題向量模型進(jìn)行相關(guān)度計(jì)算，將高相關(guān)度的網(wǎng)頁(yè)提取出來(lái)。實(shí)驗(yàn)數(shù)據(jù)表明，在查準(zhǔn)率和查全率以及主題爬蟲(chóng)的獲取率等方面，改進(jìn)的增量學(xué)習(xí)的SVM分類方法的結(jié)果比傳統(tǒng)SVM分類方法明顯要好。三是開(kāi)發(fā)完成了一個(gè)網(wǎng)絡(luò)輿情抓取原型系統(tǒng)。在以上研究的基礎(chǔ)上，