垂直搜索引擎設計與實現(xiàn).pdf

1、本文首先簡述了搜索引擎在如今信息時代的作用，并介紹了為滿足專業(yè)化領域需求的垂直搜索引擎。其次對搜索引擎中的爬蟲工具Heritrix進行了深入的分析，研究了其工作過程、原理，就其提供的擴展接口給出了具體的實現(xiàn)模式，主要用于對網頁信息的抓取過程中，該模式下如何減少無效網頁的冗余，實現(xiàn)網頁內容抓取的可控性。其次，對Lucene的主要功能模塊進行了深入的研究分析，主要針對其在全文檢索系統(tǒng)運用中所特有的優(yōu)勢進行討論，并詳細研究了其源代碼，在此基礎

2、上概括出Lucene索引的建立過程，索引的結構，檢索如何構造以及檢索結果排序等核心機制的實現(xiàn)流程和原理。 最后本文在對Heritrix及Lucene分析的基礎上，論述了構建一個具有全文檢索功能的搜索引擎系統(tǒng)的設計思想。該系統(tǒng)最終實現(xiàn)對網站內數(shù)碼相機信息的抓取以及實現(xiàn)產品檢索功能。本文核心論述了如何以Heritrix作為爬蟲，通過對網站結構的分析，對Heritrix進行功能擴展，達到提高信息的抓取效率的目的；并且利用Lucene建