面向技術信息領域垂直搜索引擎的設計與實現(xiàn).pdf

1、隨著網絡信息資源呈幾何級數(shù)增長，使用搜索引擎準確、快速的查找所需信息也變得越來越困難。主要原因有兩個，一是傳統(tǒng)的搜索引擎很難將所有的網絡資源全都覆蓋，做到面面俱到；二是查詢結果通常都是成千上萬條，真正有用的少量信息隱藏其中，讓用戶難以發(fā)現(xiàn)。垂直搜索引擎的應運而生，成為搜索引擎發(fā)展史上的一塊里程碑。 本文旨在研究垂直搜索引擎基本原理和架構，并實現(xiàn)一個面向技術信息領域的垂直搜索引擎，包括用于垂直搜索的網絡爬行器技術，基于超鏈接的半結

2、構化網頁的挖掘，倒排索引及全文檢索的實現(xiàn)等。主要分為四大方面的工作：1.桌面元搜索程序的實現(xiàn)，用于采集領域相關的網站網址；2.垂直搜索引擎爬行器的設計和實現(xiàn)。該爬行器和通用爬行器不同，首先它是領域相關的，只爬行領域相關的網頁。另外，通過對超鏈接的分析，該爬行器選擇爬行具有一定規(guī)范結構的網頁，并進行自動分類，便于后續(xù)步驟的處理；3.網頁的過濾及結構化信息的抽取。將爬行器所抓取的網頁進行進一步的過濾，按字段提取其有效信息，將所有這些信息以X