基于P2P的被動(dòng)式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)上的信息也成幾何級(jí)數(shù)爆炸增長(zhǎng)，同時(shí)用戶(hù)對(duì)信息的需求也越來(lái)越高，他們希望搜索引擎提供最新的數(shù)據(jù)，最符合要求的信息。傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)作為提供搜索引擎原始信息的最基本途徑，其性能已經(jīng)幾乎達(dá)到瓶頸，逐漸無(wú)法適應(yīng)新型的網(wǎng)絡(luò)應(yīng)用需要。
　　本文研究了現(xiàn)有的網(wǎng)絡(luò)爬蟲(chóng)模型及其目前的研究方向，介紹了各種對(duì)傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)的改進(jìn)方法，并對(duì)各種方法的優(yōu)缺點(diǎn)進(jìn)行了詳盡的分析，總結(jié)了爬蟲(chóng)面臨的主要挑戰(zhàn)，如網(wǎng)頁(yè)更新收錄慢，網(wǎng)站訪問(wèn)壓力大，無(wú)法

2、處理多媒體文件等。為解決這些問(wèn)題，本文提出一種基于P2P的被動(dòng)式爬蟲(chóng)系統(tǒng)，從根本上摒棄了傳統(tǒng)爬蟲(chóng)的工作模式，它通過(guò)客戶(hù)端-服務(wù)器模式由網(wǎng)站推送數(shù)據(jù)，搜索引擎只負(fù)責(zé)接收，并且借助于智能體技術(shù)和P2P傳輸，提高了搜索引擎原始網(wǎng)頁(yè)獲取能力。
　　該被動(dòng)式爬蟲(chóng)分為爬蟲(chóng)客戶(hù)端和爬蟲(chóng)服務(wù)器兩部分，其主要功能有：客戶(hù)端和服務(wù)器相互發(fā)現(xiàn)及注冊(cè)，客戶(hù)端監(jiān)視網(wǎng)站目錄更新，客戶(hù)端預(yù)處理數(shù)據(jù)并安排傳輸時(shí)間，客戶(hù)端與服務(wù)器數(shù)據(jù)傳輸。本文在全能體技術(shù)平臺(tái)的層