站點搜索引擎的研究與實現.pdf

1、伴隨著信息化進程的加快，越來越多的企業(yè)構建了自己的Web站點，通過站點向用戶提供產品和服務信息。但伴隨的問題是，隨著Web信息資源的迅速增加，越來越豐富的信息呈現在用戶面前，使得用戶越來越難以獲取其需要的資源，而僅僅通過瀏覽是不能高效獲取信息的。站點搜索引擎可以很好地解決這個問題。本課題就是通過研究搜索引擎及其技術，構建一個面向Web站點的搜索引擎。 本文首先介紹了站點搜索引擎現狀，提出了站點搜索引擎研究的必要性。然后介紹了搜索

2、引擎的分類和工作原理，并從信息搜集、信息處理和信息檢索這三個組成部分分析和研究了搜索引擎的主要實現技術。在此基礎之上對站點搜索引擎系統(tǒng)進行分析和設計，利用bot和Lucene工具包實現了該站點搜索引擎。 該系統(tǒng)采用多線程技術實現了并行的信息采集程序；用倒排索引技術實現了Web信息索引庫；最終向用戶提供了文本、音樂和圖片三類資源的檢索服務。為了得到更優(yōu)的頁面檢索結果，本系統(tǒng)提出了一種基于頁面內容和URL鏈接深度相結合的頁面優(yōu)先度排