基于領(lǐng)域主題的Web信息檢索技術(shù)研究.pdf

1、　　隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)上的資源成指數(shù)級的增長，如何在Internet這樣的海量信息資源中迅速搜索和查找到用戶感興趣的信息已成為網(wǎng)絡(luò)上必不可少的需要。已經(jīng)有象Google和百度這樣成熟的通用Web搜索引擎出現(xiàn)，并在很大程度上滿足了用戶Web信息檢索的需求。目前的通用Web搜索引擎在傳統(tǒng)的全文檢索技術(shù)基礎(chǔ)上，更多地涉及到網(wǎng)頁數(shù)據(jù)全面快速的采集、海量網(wǎng)頁數(shù)據(jù)的索引和存儲、搜索結(jié)果的相關(guān)性排序、搜索效率的毫秒級要求、分布式處理和負(fù)載均衡、自

2、然語言處理技術(shù)等。
　　通用Web搜索引擎通常難以收集全所有領(lǐng)域和主題的網(wǎng)絡(luò)信息，即使信息領(lǐng)域和主題收集比較全面，由于領(lǐng)域和主題范圍太寬，很難將各領(lǐng)域和主題都做得精確而又專業(yè)，從而使得檢索結(jié)果無用信息太多?；陬I(lǐng)域主題的Web搜索引擎則彌補(bǔ)了這一不足，它是就某一特定的專門的主題或領(lǐng)域范圍來提供Web信息檢索服務(wù)的搜索引擎，以其高度目標(biāo)化和專業(yè)化在各類搜索引擎中占據(jù)了一席之地，其查詢結(jié)果具有很高的針對性，因此用戶對查詢結(jié)果的滿意度較

3、高。
　　本論文主要是探討基于領(lǐng)域主題的WEB信息檢索相關(guān)的技術(shù)問題，圍繞著Web頁面信息的抓取與處理、中文分詞、文本自動分類、網(wǎng)頁排序、索引與搜索等關(guān)鍵技術(shù)問題展開討論。
　　本文的主要貢獻(xiàn)是：
　　(1) 研究并提出了一種基于塊的不需要復(fù)雜機(jī)器學(xué)習(xí)方法而僅采用探試法來獲取并識別Web頁面主要信息內(nèi)容塊的快速算法，實(shí)驗(yàn)證明該算法在Web頁面主要內(nèi)容塊的識別方面有著較高的正確率與召回率，并且利用該算法可以去掉對非主要