面向農(nóng)業(yè)信息的主題爬蟲的研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)信息資源的急劇增長(zhǎng)，網(wǎng)民人數(shù)越來(lái)越多，網(wǎng)絡(luò)在人們的日常生活和工作的作用越來(lái)越大，因此人們?cè)絹?lái)越多地關(guān)注如何快速有效地從海量的網(wǎng)絡(luò)信息中，提取出潛在的、有價(jià)值的信息，使之有效地在工作和生活中發(fā)揮作用，所以專業(yè)領(lǐng)域主題Web信息的有效獲取成為各行業(yè)有效利用網(wǎng)絡(luò)信息資源的基礎(chǔ)。
　　 面向農(nóng)業(yè)信息的主題爬蟲是專注于在海量的網(wǎng)絡(luò)信息中有效地識(shí)別與農(nóng)業(yè)相關(guān)的Web信息資源，并進(jìn)行獲取和及時(shí)更新的系統(tǒng)。它可以實(shí)現(xiàn)對(duì)

2、圖片下載，對(duì)爬取網(wǎng)頁(yè)的編碼進(jìn)行統(tǒng)一，對(duì)抓取的與農(nóng)業(yè)相關(guān)的資源進(jìn)行過(guò)濾，識(shí)別出符合需求的內(nèi)容網(wǎng)頁(yè)。
　　 本文首先對(duì)農(nóng)業(yè)智能信息化業(yè)務(wù)平臺(tái)進(jìn)行了初步的描述，重點(diǎn)介紹了在這一平臺(tái)上搭建的面向農(nóng)業(yè)的主題爬蟲的特點(diǎn)。在介紹主題爬蟲時(shí)，本文對(duì)爬蟲的架構(gòu)、原理、組成、工作流程做了闡述。特別是針對(duì)農(nóng)業(yè)業(yè)務(wù)平臺(tái)對(duì)資源的特殊要求，介紹了爬蟲在采集信息時(shí)，做了怎樣的處理。
　　 本文重點(diǎn)開發(fā)了面向農(nóng)業(yè)信息的主題爬蟲。從nutch開源搜索引擎