基于Fish-search算法的垂直搜索引擎研究與設計.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展使得網(wǎng)絡信息資源急劇的增長，通用搜索引擎在信息的檢索方面已經(jīng)無法滿足用戶的需求，如今信息檢索追求的是準確性，同時信息檢索應具有一定的深度。通用搜索引擎返回給用戶的信息雖然多，但并不是用戶所需要的信息，所以通用搜索引擎檢索的結果雖然覆蓋全面，但是在檢索的結果準確性方面還是差了一些。針對這種問題的出現(xiàn)，專業(yè)化的垂直搜索引擎也被提了出來。垂直搜索引擎就是一種針對特定領域或者特定主題的搜索引擎，在搜索結果的準確性方面有了很大的提

2、高，一定程度上滿足了用戶檢索的需求。
　　論文中主要研究的就是垂直搜索引擎的設計，垂直搜索引擎的核心模塊就是主題爬蟲。主題爬蟲就是抓取與主題相關的網(wǎng)頁，并下載該網(wǎng)頁。所以重點就在于如何判斷主題與網(wǎng)頁的相關度，論文中采用了改進的布爾模型進行網(wǎng)頁與主題相關度的計算，相關度不但決定了當前網(wǎng)頁是否需要存儲，同時也是待爬鏈接列表中鏈接優(yōu)先級的參考值，而且還是最后檢索結果排序的主要依據(jù);另外主題爬蟲的爬行策略采用的是改進的Fish-searc

3、h算法。網(wǎng)頁下載后還需要提取其中的重要內(nèi)容作為檢索的條件以及網(wǎng)頁的信息描述，網(wǎng)頁信息抽取方式采用的是正則表達式進行相關信息的匹配并提取出正確匹配的信息。用戶檢索需要的信息時根據(jù)輸入的關鍵詞推薦一些與關鍵詞相關的搜索詞或者短句，為用戶提供更友好的檢索界面。
　　論文最終完成了垂直搜索引擎的設計，與通用搜索引擎相比較，在檢索特定的主題關鍵詞時，本文設計的垂直搜索引擎檢索的結果要比通用搜索引擎檢索的結果準確得多，而且本文設計的搜索引擎檢