搜索引擎中爬蟲的若干問題研究.pdf

1、本文針對爬蟲在當前網(wǎng)絡(luò)環(huán)境中衍生的不同的性質(zhì)提出一些針對各個性質(zhì)的爬蟲構(gòu)架方法，并對各種方法進行實驗分析，主要創(chuàng)新工作和成果如下： 第一，總結(jié)了搜索引擎中爬蟲的基本性質(zhì)。 介紹了搜索引擎中爬蟲的第一個基本性質(zhì)多線程斷點續(xù)傳，并從產(chǎn)生背景，實現(xiàn)和設(shè)計優(yōu)點三個方面進行闡述，然后介紹了搜索引擎中爬蟲的第二個基本性質(zhì)內(nèi)部網(wǎng)可定制，也并從產(chǎn)生背景，實現(xiàn)和設(shè)計優(yōu)點三個方面進行闡述。 第二，總結(jié)了搜索引擎中爬蟲的特色性質(zhì)。

2、 介紹了搜索引擎中爬蟲的六個特色性質(zhì)：針對布告欄的數(shù)據(jù)分類，針對布告欄的并行式關(guān)聯(lián)，針對論壇的自動動態(tài)更新，針對論壇的同話題定位跟蹤，針對視頻的可預覽，針對視頻的真實尋址，并分別從產(chǎn)生背景，實現(xiàn)和設(shè)計優(yōu)點三個方面進行詳盡闡述。 第三，本文給出八種不同爬蟲系統(tǒng)的設(shè)計方案及實現(xiàn)。 針對搜索引擎中爬蟲的兩個基本性質(zhì)和六個特色性質(zhì)實現(xiàn)爬蟲系統(tǒng)的架構(gòu)和給出詳細的構(gòu)造分析。 第四，本文針對八種不同爬蟲系統(tǒng)給出實驗及結(jié)論。