復(fù)合規(guī)則驅(qū)動(dòng)聚焦爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、聚焦爬蟲(chóng)，又稱(chēng)主題爬蟲(chóng)，這種爬蟲(chóng)的爬行方向往往帶有很強(qiáng)的目的性。它會(huì)按照一定的順序采集網(wǎng)頁(yè)信息，力求采集到的信息都是與主題相關(guān)的信息，并且對(duì)相關(guān)度大的網(wǎng)頁(yè)優(yōu)先采集，相關(guān)度小的網(wǎng)頁(yè)不采集。
　　本項(xiàng)目實(shí)現(xiàn)了一個(gè)聚焦爬蟲(chóng)系統(tǒng)，這個(gè)系統(tǒng)可以對(duì)特定范圍內(nèi)的網(wǎng)站進(jìn)行實(shí)時(shí)檢測(cè)。系統(tǒng)采用復(fù)合規(guī)則來(lái)指導(dǎo)爬蟲(chóng)的運(yùn)行方向。同時(shí)對(duì)抓取下來(lái)的內(nèi)容可以通過(guò)網(wǎng)站的形式展現(xiàn)給用戶(hù)查看，用戶(hù)可以對(duì)網(wǎng)頁(yè)內(nèi)容標(biāo)記和對(duì)系統(tǒng)運(yùn)行參數(shù)配置。
　　系統(tǒng)整體上分為兩個(gè)模

2、塊，網(wǎng)頁(yè)內(nèi)容獲取模塊和顯示查詢(xún)模塊。網(wǎng)頁(yè)內(nèi)容獲取模塊的功能是從網(wǎng)絡(luò)上獲取用戶(hù)需要的網(wǎng)頁(yè)信息并且對(duì)其進(jìn)行分析和記錄。其中主要包括提取正文、網(wǎng)頁(yè)去重、鏈接分析、內(nèi)容分析、存儲(chǔ)入庫(kù)和抓取調(diào)度等主要操作。系統(tǒng)通過(guò)這些模塊間的協(xié)調(diào)工作，從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)信息并進(jìn)行分析、處理，實(shí)現(xiàn)對(duì)主題內(nèi)容網(wǎng)頁(yè)的聚焦抓取。顯示查詢(xún)模塊主要負(fù)責(zé)將獲取到的頁(yè)面內(nèi)容展示出來(lái)給用戶(hù)查看。顯示查詢(xún)模塊使用網(wǎng)站的形式實(shí)現(xiàn)，采用SSH框架，將數(shù)據(jù)通過(guò)圖表等方式展現(xiàn)在頁(yè)面當(dāng)中。<