面向Web站點的搜索引擎研究與實現(xiàn).pdf

1、隨著Web信息的急劇增加，用戶如何準(zhǔn)確、快速有效地從海量Web信息中提取所需信息，已成為當(dāng)前急待解決的問題。搜索引擎技術(shù)是解決用戶檢索海量Web信息的有效途徑之一。目前，搜索引擎技術(shù)已成為信息檢索領(lǐng)域的研究熱點。 搜索引擎是一種在Web上應(yīng)用的軟件系統(tǒng)，它以一定的策略在Web上搜集和發(fā)現(xiàn)信息，在對信息進(jìn)行處理和組織后，為用戶提供Web信息查詢服務(wù)。 為了滿足日益增加Web站點上的信息檢索需要，本文將搜索引擎技術(shù)運用到We

2、b站點的信息檢索中，采用Robot搜索引擎的結(jié)構(gòu)，實現(xiàn)了基于Robot的采集程序；用改進(jìn)的Lucene．net工具包實現(xiàn)了Web信息的倒排索引庫；并結(jié)合ASP．NET為用戶提供友好的檢索界面。 在信息采集過程中，本文采用Bloom Filters算法高效地實現(xiàn)了URL消重，采用多線程技術(shù)實現(xiàn)了并行的信息采集；在信息索引實現(xiàn)中，本文采用基于字符串匹配和雙字哈希機(jī)制的中文分詞技術(shù)，進(jìn)一步提高了索引效率；在信息檢索實現(xiàn)中，本文提出一種