基于時(shí)態(tài)信息的主題搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，面對(duì)這樣一個(gè)全球最大的信息資源寶庫，搜索引擎為人們提供了獲取信息的入口，得到了極大的流行。但由于Web多元化信息的指數(shù)級(jí)增長和人們需求的多樣化，通用搜索引擎返回的結(jié)果已經(jīng)不能滿足人們對(duì)個(gè)性化信息檢索服務(wù)的要求，于是主題搜索引擎應(yīng)運(yùn)而生。與通用搜索不同，主題搜索引擎僅僅專注于某一領(lǐng)域，為特定領(lǐng)域的用戶提供更為精確、更全面、更及時(shí)的搜索服務(wù)。它的很多技術(shù)與通用搜索引擎類似，但是還有一些自己獨(dú)特的技術(shù)和一些新的需要解決問

2、題，成為近年來研究的熱點(diǎn)。 傳統(tǒng)的主題搜索引擎僅支持基于關(guān)鍵字的搜索方式，因此在許多情況下難以有效地表達(dá)用戶的查詢需求，例如在新聞主題搜索引擎中查詢“最近三天內(nèi)關(guān)于甲型流感的新聞”。通過對(duì)網(wǎng)頁信息的分析，時(shí)態(tài)信息是網(wǎng)頁的一個(gè)本質(zhì)屬性，比如網(wǎng)頁的修改時(shí)間、新聞網(wǎng)頁中蘊(yùn)含的新聞事件時(shí)間等。因此，如果能夠利用網(wǎng)頁的時(shí)態(tài)信息來增強(qiáng)主題搜索引擎的效率，使用戶可以表達(dá)時(shí)態(tài)相關(guān)的查詢需求，同時(shí)搜索引擎自身也提供時(shí)態(tài)查詢處理能力，則可以有效地提

3、高主題搜索引擎的性能。 本文圍繞基于時(shí)態(tài)信息的主題搜索引擎開展了若干關(guān)鍵技術(shù)的研究，重點(diǎn)探討了時(shí)態(tài)主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)，主題爬蟲、搜索結(jié)果的時(shí)態(tài)排序等問題。本文的主要貢獻(xiàn)可歸納為： (1)通過分析Web結(jié)構(gòu)和網(wǎng)頁特征，提出并實(shí)現(xiàn)了一個(gè)混合主題爬蟲。該爬蟲首先對(duì)抓取下來的網(wǎng)頁使用基于VIPS的網(wǎng)頁分析算法計(jì)算網(wǎng)頁與主題的相關(guān)性并選取相關(guān)鏈接，然后結(jié)合元搜索技術(shù)來提高爬蟲跨越Web社區(qū)的能力，使其在保有精確度的同時(shí)具有好

4、的召回率。 (2)研究了結(jié)合不同網(wǎng)頁時(shí)間的搜索結(jié)果排序算法，提出了三種適合不同時(shí)態(tài)語義搜索的網(wǎng)頁排序算法。這類算法分別就用戶對(duì)網(wǎng)頁的內(nèi)容時(shí)間、修改時(shí)間及雙時(shí)態(tài)時(shí)間的查詢需求，對(duì)傳統(tǒng)的PageRank算法中的轉(zhuǎn)移概率和跳轉(zhuǎn)概率進(jìn)行了改進(jìn)，提高了排序結(jié)果的精確性。 (3)設(shè)計(jì)并實(shí)現(xiàn)了一種能夠根據(jù)網(wǎng)頁的內(nèi)容時(shí)間和修改時(shí)間進(jìn)行Web網(wǎng)頁檢索的主題搜索引擎，該系統(tǒng)同時(shí)支持文本檢索和時(shí)態(tài)檢索。實(shí)驗(yàn)表明，基于時(shí)態(tài)信息的主題搜索引擎具有