基于增量式爬蟲的搜索引擎系統(tǒng)的設計與實現.pdf

1、目前網絡信息豐富全面且多元化，為了從海量數據中獲得目標信息，或者搜索關鍵信息，搜索引擎技術應運而生。在搜索引擎技術中，用來獲取和分析數據的單元為網絡爬蟲，現有的網絡爬蟲種類很多，功能不一，由于爬蟲自身的特點，也常被應用于黑客技術領域。目前最常見也是應用范圍最廣的網絡爬蟲就是為搜索引擎提供檢索數據支持的網絡爬蟲，這些網絡爬蟲為了給用戶提供最新且全面的檢索數據，每時每刻都在運行。
　　本文通過對搜索引擎數據獲取采用的爬蟲機制，對網絡爬

2、蟲進行研究，在分析現有網絡爬蟲種類和特點以及搜索引擎工作原理的基礎上，對網絡爬蟲的運行機制、運行原理以及特點等進行了分析研究，尤其對增量式爬蟲機制進行了研究，并根據增量式爬蟲機制，設計和實現了搜索引擎系統(tǒng)。
　　本文首先對網絡爬蟲及其運行原理進行了研究，然后借助JavaEE設計模式在Linux平臺下實現基礎搜索引擎系統(tǒng)，將一般式爬蟲和增量式爬蟲分別搭建在搜索引擎系統(tǒng)中，并對不同的爬蟲機制進行數據獲取和更新的實驗，通過實驗數據與可視