基于主題的搜索引擎研究.pdf

1、Internet的迅速發(fā)展使其成為當(dāng)今世界上最大的信息庫(kù)，并日益成為人們獲取所需資源的主要來(lái)源，然而其巨大的信息量以及紛繁蕪雜的內(nèi)容與人們有目的的利用信息形成了很大的矛盾。與此同時(shí)，傳統(tǒng)的綜合性搜索引擎要采集的信息以及構(gòu)建索引查詢的內(nèi)容不斷擴(kuò)大，由于其局限于試圖索引全部Web并試圖服務(wù)于所有主題的查詢請(qǐng)求，導(dǎo)致了通用搜索引擎很難再為用戶提供一個(gè)全面并且更新及時(shí)的信息搜索服務(wù)，所以如何快速、準(zhǔn)確地從浩瀚的信息資源中找到有用的信息成為網(wǎng)絡(luò)用

2、戶面臨的一個(gè)緊要問(wèn)題。用戶迫切需要一個(gè)數(shù)據(jù)分類細(xì)致、精確、全面、更新及時(shí)的搜索引擎來(lái)獲取主題資源信息。由于面向主題的搜索引擎只覆蓋與特定主題相關(guān)的Web區(qū)域，這樣搜索可以更深，周期可以更短，因此能滿足用戶對(duì)獲取信息資源快速、準(zhǔn)確的性能要求，所以成為目前研究的熱點(diǎn)。而Web挖掘作為知識(shí)挖掘新的研究?jī)?nèi)容，由于自身在信息處理中的層次較高，同時(shí)與搜索引擎的關(guān)系非常密切，對(duì)搜索引擎技術(shù)有很大借鑒作用。所以搜索引擎通過(guò)應(yīng)用Web挖掘技術(shù)，可以增強(qiáng)信

3、息處理能力，使得信息檢索的能力滿足信息化社會(huì)的發(fā)展需要。 本文首先從研究的角度對(duì)搜索引擎的產(chǎn)生及其發(fā)展歷程進(jìn)行分析，對(duì)目前綜合性通用搜索引擎的工作原理及其現(xiàn)狀進(jìn)行討論，從而引出了傳統(tǒng)搜索引擎面臨的巨大挑戰(zhàn)。在此基礎(chǔ)上對(duì)主題搜索引擎的支撐技術(shù)進(jìn)行充分研究，對(duì)于導(dǎo)向詞的使用、網(wǎng)頁(yè)評(píng)分、權(quán)威網(wǎng)頁(yè)和中心網(wǎng)頁(yè)的提取以及超鏈接文本分析等方面充分理解，最終確定論文研究的主要方向?yàn)槿绾伟选疻EB挖掘領(lǐng)域中的研究成果應(yīng)用于主題搜索引擎的設(shè)計(jì)和實(shí)現(xiàn)

4、中。本文的研究重點(diǎn)為以下四個(gè)方面： 1.Topical-Crawler信息采集：抓住如何評(píng)價(jià)頁(yè)面的主題相關(guān)性和設(shè)計(jì)高效的爬行策略這兩個(gè)關(guān)鍵問(wèn)題。提出了基于主題策略改進(jìn)網(wǎng)頁(yè)爬行器的方法：把主題詞及相關(guān)權(quán)值、首頁(yè)相關(guān)度以及基于鏈接的評(píng)價(jià)方法綜合應(yīng)用于爬行器的改進(jìn)，提高搜索引擎資源獲取的主題相關(guān)度。 2.網(wǎng)頁(yè)文本分類：采用傳統(tǒng)的向量空間模型表示文本，采用基于詞典雙向最大匹配法進(jìn)行自動(dòng)分詞，提高文本特征抽取方面準(zhǔn)確度，之后綜合分

5、析對(duì)比了幾種比較成熟的分類學(xué)習(xí)算法，改進(jìn)了多項(xiàng)式樸素貝葉斯模型，提高了分類精度。 3.基于Lucene的索引與檢索：在Apache開(kāi)源框架Lucene提供的完整的查詢引擎和索引引擎的基礎(chǔ)上，完成索引及查詢模塊，對(duì)已分類的網(wǎng)頁(yè)文本進(jìn)行索引，提高索引及查詢的效率。 4.搜索結(jié)果聚類：研究聚類算法在搜索結(jié)果聚類的應(yīng)用特性：重疊聚類、短語(yǔ)表示以及簡(jiǎn)明的類定義。在進(jìn)行檢索時(shí)，對(duì)已檢索到的結(jié)果進(jìn)行聚類分析，根據(jù)文檔與用戶查詢的相關(guān)性