面向可下載資源的WEB搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、利用搜索引擎，人們可以在互聯(lián)網(wǎng)中迅速定位自己所需的信息。以Google為代表的通用搜索引擎在信息檢索方面很好的滿足了用戶的需求，但在搜索可下載資源方面，通用搜索引擎還存在著一些不足之處：大多數(shù)情況下都沒(méi)有返回直接指向可下載資源的目標(biāo)鏈接；沒(méi)有對(duì)可下載資源的可訪問(wèn)性進(jìn)行檢測(cè)從而導(dǎo)致出現(xiàn)“死鏈”。本文通過(guò)研究可下載資源的特性，提出了一種新的面向可下載資源的搜索引擎，以此來(lái)彌補(bǔ)通用搜索引擎在搜索可下載資源方面的不足。 本文首先分析了可

2、下載資源的特性，其與一般Web頁(yè)面的區(qū)別是：Web頁(yè)面只是通往可下載資源的路標(biāo)，且無(wú)法確保能找到可下載資源；網(wǎng)站的知名度與其提供的可下載資源的質(zhì)量之間并無(wú)必然聯(lián)系。因此，在搜索引擎的設(shè)計(jì)上充分考慮可下載資源的特性是提高對(duì)可下載資源搜索質(zhì)量的關(guān)鍵。 針對(duì)可下載資源的以上特性，本文設(shè)計(jì)了一種面向可下載資源的搜索引擎——SureDown。SureDown采取了以資源為中心的信息收集策略，Crawler訪問(wèn)資源時(shí)會(huì)檢測(cè)其可訪問(wèn)性，并將與

3、其關(guān)聯(lián)的網(wǎng)頁(yè)保存到本地?cái)?shù)據(jù)庫(kù)中；同時(shí)其索引的建立也只針對(duì)與資源關(guān)聯(lián)的網(wǎng)頁(yè)，在建立索引前，通過(guò)對(duì)網(wǎng)頁(yè)進(jìn)行預(yù)處理來(lái)構(gòu)建資源描述文件，使得建立索引的開銷大幅降低；而排序程序則通過(guò)計(jì)算資源描述文件中各標(biāo)簽內(nèi)容與查詢關(guān)鍵字的相關(guān)度來(lái)對(duì)搜索結(jié)果進(jìn)行排序，最后由用戶接口將資源描述文件中指向可下載資源的目標(biāo)鏈接作為結(jié)果集返回給用戶。新的搜索引擎在設(shè)計(jì)上充分考慮了可下載資源的特性。 基于提出的SureDown的設(shè)計(jì)思想，本文實(shí)現(xiàn)了SureDown