基于Fish-search算法的垂直搜索引擎研究與設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)的高速發(fā)展使得網(wǎng)絡(luò)信息資源急劇的增長(zhǎng)，通用搜索引擎在信息的檢索方面已經(jīng)無(wú)法滿足用戶的需求，如今信息檢索追求的是準(zhǔn)確性，同時(shí)信息檢索應(yīng)具有一定的深度。通用搜索引擎返回給用戶的信息雖然多，但并不是用戶所需要的信息，所以通用搜索引擎檢索的結(jié)果雖然覆蓋全面，但是在檢索的結(jié)果準(zhǔn)確性方面還是差了一些。針對(duì)這種問題的出現(xiàn)，專業(yè)化的垂直搜索引擎也被提了出來(lái)。垂直搜索引擎就是一種針對(duì)特定領(lǐng)域或者特定主題的搜索引擎，在搜索結(jié)果的準(zhǔn)確性方面有了很大的提

2、高，一定程度上滿足了用戶檢索的需求。
　　論文中主要研究的就是垂直搜索引擎的設(shè)計(jì)，垂直搜索引擎的核心模塊就是主題爬蟲。主題爬蟲就是抓取與主題相關(guān)的網(wǎng)頁(yè)，并下載該網(wǎng)頁(yè)。所以重點(diǎn)就在于如何判斷主題與網(wǎng)頁(yè)的相關(guān)度，論文中采用了改進(jìn)的布爾模型進(jìn)行網(wǎng)頁(yè)與主題相關(guān)度的計(jì)算，相關(guān)度不但決定了當(dāng)前網(wǎng)頁(yè)是否需要存儲(chǔ)，同時(shí)也是待爬鏈接列表中鏈接優(yōu)先級(jí)的參考值，而且還是最后檢索結(jié)果排序的主要依據(jù);另外主題爬蟲的爬行策略采用的是改進(jìn)的Fish-searc

3、h算法。網(wǎng)頁(yè)下載后還需要提取其中的重要內(nèi)容作為檢索的條件以及網(wǎng)頁(yè)的信息描述，網(wǎng)頁(yè)信息抽取方式采用的是正則表達(dá)式進(jìn)行相關(guān)信息的匹配并提取出正確匹配的信息。用戶檢索需要的信息時(shí)根據(jù)輸入的關(guān)鍵詞推薦一些與關(guān)鍵詞相關(guān)的搜索詞或者短句，為用戶提供更友好的檢索界面。
　　論文最終完成了垂直搜索引擎的設(shè)計(jì)，與通用搜索引擎相比較，在檢索特定的主題關(guān)鍵詞時(shí)，本文設(shè)計(jì)的垂直搜索引擎檢索的結(jié)果要比通用搜索引擎檢索的結(jié)果準(zhǔn)確得多，而且本文設(shè)計(jì)的搜索引擎檢