面向Web站點的搜索引擎研究與實現(xiàn).pdf

1、隨著Web信息的急劇增加，用戶如何準確、快速有效地從海量Web信息中提取所需信息，已成為當前急待解決的問題。搜索引擎技術是解決用戶檢索海量Web信息的有效途徑之一。目前，搜索引擎技術已成為信息檢索領域的研究熱點。 搜索引擎是一種在Web上應用的軟件系統(tǒng)，它以一定的策略在Web上搜集和發(fā)現(xiàn)信息，在對信息進行處理和組織后，為用戶提供Web信息查詢服務。 為了滿足日益增加Web站點上的信息檢索需要，本文將搜索引擎技術運用到We

2、b站點的信息檢索中，采用Robot搜索引擎的結構，實現(xiàn)了基于Robot的采集程序；用改進的Lucene．net工具包實現(xiàn)了Web信息的倒排索引庫；并結合ASP．NET為用戶提供友好的檢索界面。 在信息采集過程中，本文采用Bloom Filters算法高效地實現(xiàn)了URL消重，采用多線程技術實現(xiàn)了并行的信息采集；在信息索引實現(xiàn)中，本文采用基于字符串匹配和雙字哈希機制的中文分詞技術，進一步提高了索引效率；在信息檢索實現(xiàn)中，本文提出一種