站點(diǎn)搜索引擎的研究與實(shí)現(xiàn).pdf

1、伴隨著信息化進(jìn)程的加快，越來(lái)越多的企業(yè)構(gòu)建了自己的Web站點(diǎn)，通過(guò)站點(diǎn)向用戶提供產(chǎn)品和服務(wù)信息。但伴隨的問(wèn)題是，隨著Web信息資源的迅速增加，越來(lái)越豐富的信息呈現(xiàn)在用戶面前，使得用戶越來(lái)越難以獲取其需要的資源，而僅僅通過(guò)瀏覽是不能高效獲取信息的。站點(diǎn)搜索引擎可以很好地解決這個(gè)問(wèn)題。本課題就是通過(guò)研究搜索引擎及其技術(shù)，構(gòu)建一個(gè)面向Web站點(diǎn)的搜索引擎。 本文首先介紹了站點(diǎn)搜索引擎現(xiàn)狀，提出了站點(diǎn)搜索引擎研究的必要性。然后介紹了搜索

2、引擎的分類和工作原理，并從信息搜集、信息處理和信息檢索這三個(gè)組成部分分析和研究了搜索引擎的主要實(shí)現(xiàn)技術(shù)。在此基礎(chǔ)之上對(duì)站點(diǎn)搜索引擎系統(tǒng)進(jìn)行分析和設(shè)計(jì)，利用bot和Lucene工具包實(shí)現(xiàn)了該站點(diǎn)搜索引擎。 該系統(tǒng)采用多線程技術(shù)實(shí)現(xiàn)了并行的信息采集程序；用倒排索引技術(shù)實(shí)現(xiàn)了Web信息索引庫(kù)；最終向用戶提供了文本、音樂和圖片三類資源的檢索服務(wù)。為了得到更優(yōu)的頁(yè)面檢索結(jié)果，本系統(tǒng)提出了一種基于頁(yè)面內(nèi)容和URL鏈接深度相結(jié)合的頁(yè)面優(yōu)先度排