網(wǎng)絡(luò)輿情分析中智能信息收集器的設(shè)計(jì)實(shí)現(xiàn).pdf

1、隨著科技的迅速發(fā)展，網(wǎng)絡(luò)己成為人們表達(dá)見解、討論公共事務(wù)、參與經(jīng)濟(jì)社會(huì)、政治生活以及進(jìn)行輿論監(jiān)督的重要公共平臺(tái)。網(wǎng)民規(guī)模的逐年攀升導(dǎo)致網(wǎng)絡(luò)輿情形成迅速，對(duì)社會(huì)的影響巨大。如何能夠及時(shí)發(fā)現(xiàn)輿情熱點(diǎn)、正確引導(dǎo)民意走勢(shì)是當(dāng)前亟待解決的重點(diǎn)和難點(diǎn)。網(wǎng)絡(luò)輿情分析的首要工作是輿情信息的采集，在web上，信息采集的任務(wù)由網(wǎng)絡(luò)爬蟲完成，因此，網(wǎng)絡(luò)爬蟲性能的優(yōu)良直接關(guān)系到輿情分析結(jié)果的好壞。本文的主要研究目標(biāo)就是如何提高輿情分析系統(tǒng)中網(wǎng)絡(luò)爬蟲的性能，為輿

2、情分析提供優(yōu)質(zhì)的信息源。
　　 傳統(tǒng)的網(wǎng)絡(luò)爬蟲以提高資源的覆蓋率為主要目標(biāo)，追求信息采集的全面性。網(wǎng)絡(luò)輿情分析因其自身的特點(diǎn)，要求信息源具有較高的主題覆蓋率，因此，必須在現(xiàn)有爬蟲的基礎(chǔ)上，加入一些爬行策略來指導(dǎo)爬蟲的爬行，使其能滿足輿情分析的需要。
　　 通過深入研究web頁面解析、文檔正文區(qū)提取、文檔摘要、文檔相似度分析等技術(shù)，設(shè)計(jì)了一種適合于輿情分析系統(tǒng)的信息采集器，該采集器在傳統(tǒng)型爬蟲模型的基礎(chǔ)上，增加了以下一些重

3、點(diǎn)模塊：頁面分析模塊，主題相關(guān)度判別模塊，URL隊(duì)列管理模塊。頁面分析模塊完成HTML頁面的解析以及正文區(qū)的提取。通過調(diào)研兩類基本的正文區(qū)提取算法，在對(duì)其優(yōu)缺點(diǎn)進(jìn)行深入分析后，提出了一種基于“URL模式庫”的正文區(qū)提取策略，該策略通過維護(hù)一個(gè)URL模式庫，可以顯著提高正文區(qū)的提取效率；主題相關(guān)度判別用于評(píng)估頁面與爬行主題的相關(guān)性；URL隊(duì)列管理模塊通過對(duì)URL進(jìn)行主題相關(guān)性評(píng)分，決定URL的爬行次序。主題相關(guān)性評(píng)分的依據(jù)有：URL所在頁