基于Na_ve Bayes算法的定向爬蟲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著高速發(fā)展計算機技術(shù)以及日益普及的計算機網(wǎng)絡(luò)，當前網(wǎng)絡(luò)成為各種媒體傳播信息、發(fā)表觀點的重要途徑。根據(jù)2016年發(fā)布的第37次《中國互聯(lián)網(wǎng)發(fā)展狀況統(tǒng)計報告》顯示，到2015年12月為止，我國的網(wǎng)民的數(shù)量已達到6.88億，互聯(lián)網(wǎng)的普及率達到50.3％，較2014年提升了2.4個百分點。網(wǎng)絡(luò)在人們生活中扮演著越來越重要的角色。然而，當網(wǎng)絡(luò)中某一事件受到大家關(guān)注并廣泛傳播時就會形成網(wǎng)絡(luò)輿情，面對海量的網(wǎng)絡(luò)數(shù)據(jù)，如何對數(shù)據(jù)進行采集并發(fā)現(xiàn)熱點輿情

2、以及對輿情進行分析和預警成為了現(xiàn)在的一個熱門話題。也因此，定向爬蟲作為輿情發(fā)現(xiàn)的重要數(shù)據(jù)獲取方式受到人們的廣泛關(guān)注。
　　本論文學習和研究了當今主流的幾種信息采集系統(tǒng)，并且研讀了大量的數(shù)據(jù)采集方面的學術(shù)論文。當前主流的爬蟲系統(tǒng)主要分三類：傳統(tǒng)爬蟲、主題爬蟲和定向爬蟲。傳統(tǒng)爬蟲作為最早出現(xiàn)的爬蟲，它是其他兩種爬蟲技術(shù)的基礎(chǔ)；主題爬蟲在傳統(tǒng)爬蟲的基礎(chǔ)上加入主題算法對爬行范圍及策略進行優(yōu)化對某一主題相關(guān)的數(shù)據(jù)進行采集，雖然該方法在一定程

3、度上提高了采集數(shù)據(jù)的精度，但是由于算法本身的限制，得到的結(jié)果仍不能用于對數(shù)據(jù)精度要求較高的領(lǐng)域；定向爬蟲只對特定的網(wǎng)頁進行數(shù)據(jù)采集，根據(jù)系統(tǒng)集成的模版信息匹配網(wǎng)頁中的目標數(shù)據(jù)，該種方法采集范圍較小，并且由于采集中若要精確的采集數(shù)據(jù)通常要構(gòu)造復雜的正則表達式，但是定向爬蟲相對于主題爬蟲來說采集精度更高一些，速率更快。
　　基于以上對當前主流爬蟲系統(tǒng)的分析，發(fā)現(xiàn)如果在當前定向爬蟲的基礎(chǔ)上加入分類器會使得爬蟲有更高的數(shù)據(jù)采集精度，以達到

4、對輿情精準分析的目標，因此本文構(gòu)建了一種基于Na+i+veBayes分類器的定向爬蟲系統(tǒng)。本文對定向爬蟲做了如下改進：
　　(1)在采集方式上使用正則表達式與XPath混合式采集。由于正則表達式適用范圍廣，但是噪聲大；XPath方法采集精度高，但是對頁面結(jié)構(gòu)要求嚴格，因此在本系統(tǒng)中將兩種方法相結(jié)合，從而取長補短。
　　(2)在系統(tǒng)采集的過程中加入Nai(i)ve Bayes分類器對數(shù)據(jù)進行去噪，從而達到提高系統(tǒng)準確性的效果。

5、
　　本系統(tǒng)基于C＃語言，開發(fā)工具為Visual Studio2013，數(shù)據(jù)庫存儲采用的是SQL Server2008?？刹杉v訊新聞、新浪新聞、騰訊新聞、搜狐新聞、網(wǎng)信網(wǎng)等十幾個主流新聞門戶網(wǎng)站。該系統(tǒng)與傳統(tǒng)的爬蟲系統(tǒng)相比，可以精確地采集用戶需要的數(shù)據(jù)，并且減少垃圾數(shù)據(jù)的采集，從而也使得該系統(tǒng)不但采集效率高而且數(shù)據(jù)精確。
　　本系統(tǒng)主要設(shè)計為四個模塊，分別為目標網(wǎng)址選擇模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊以及數(shù)據(jù)存儲模塊。