基于增量式爬蟲的搜索引擎系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、目前網(wǎng)絡(luò)信息豐富全面且多元化，為了從海量數(shù)據(jù)中獲得目標(biāo)信息，或者搜索關(guān)鍵信息，搜索引擎技術(shù)應(yīng)運而生。在搜索引擎技術(shù)中，用來獲取和分析數(shù)據(jù)的單元為網(wǎng)絡(luò)爬蟲，現(xiàn)有的網(wǎng)絡(luò)爬蟲種類很多，功能不一，由于爬蟲自身的特點，也常被應(yīng)用于黑客技術(shù)領(lǐng)域。目前最常見也是應(yīng)用范圍最廣的網(wǎng)絡(luò)爬蟲就是為搜索引擎提供檢索數(shù)據(jù)支持的網(wǎng)絡(luò)爬蟲，這些網(wǎng)絡(luò)爬蟲為了給用戶提供最新且全面的檢索數(shù)據(jù)，每時每刻都在運行。
　　本文通過對搜索引擎數(shù)據(jù)獲取采用的爬蟲機(jī)制，對網(wǎng)絡(luò)爬

2、蟲進(jìn)行研究，在分析現(xiàn)有網(wǎng)絡(luò)爬蟲種類和特點以及搜索引擎工作原理的基礎(chǔ)上，對網(wǎng)絡(luò)爬蟲的運行機(jī)制、運行原理以及特點等進(jìn)行了分析研究，尤其對增量式爬蟲機(jī)制進(jìn)行了研究，并根據(jù)增量式爬蟲機(jī)制，設(shè)計和實現(xiàn)了搜索引擎系統(tǒng)。
　　本文首先對網(wǎng)絡(luò)爬蟲及其運行原理進(jìn)行了研究，然后借助JavaEE設(shè)計模式在Linux平臺下實現(xiàn)基礎(chǔ)搜索引擎系統(tǒng)，將一般式爬蟲和增量式爬蟲分別搭建在搜索引擎系統(tǒng)中，并對不同的爬蟲機(jī)制進(jìn)行數(shù)據(jù)獲取和更新的實驗，通過實驗數(shù)據(jù)與可視