基于Lucene技術(shù)的垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著Internet和WWW的迅速發(fā)展,Internet上的資源日趨豐富。為了幫助人們在浩如煙海的互聯(lián)網(wǎng)中獲取有用的信息,基于Internet的各類信息檢索服務(wù)應(yīng)運(yùn)而生并得到了迅速發(fā)展。目前人們在互聯(lián)網(wǎng)上搜索信息主要是通過Google、百度等通用搜索引擎。一般情況下,通用搜索引擎可以滿足用戶的需求。然而,當(dāng)用戶只想查詢某一具體行業(yè)或某種主題的相關(guān)信息時,這類搜索引擎就會顯得有些力不從心。垂直搜索引擎的出現(xiàn),正好滿足了這些特定的需求。

2、r>　　針對某一領(lǐng)域、某一特定人群或某一特定需求建立的搜索引擎稱為垂直搜索引擎,它已經(jīng)逐漸成為人們獲取專業(yè)網(wǎng)絡(luò)信息的重要工具。Lucene是一個用Java語言編寫的全文索引引擎工具包,它可以方便地嵌入到各種應(yīng)用中,實(shí)現(xiàn)針對特定應(yīng)用的垂直搜索功能。
　　網(wǎng)絡(luò)爬蟲是垂直搜索引擎的數(shù)據(jù)來源,它的性能直接影響了信息采集的數(shù)量與質(zhì)量,因此網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分。Lucene本身沒有提供信息采集的功能,本論文在介紹搜索引擎有關(guān)技術(shù)和

3、開源網(wǎng)絡(luò)爬蟲Heritrix的基礎(chǔ)上,通過對Heritrix進(jìn)行擴(kuò)展和改進(jìn),實(shí)現(xiàn)了一個垂直搜索爬蟲,滿足了特定的信息采集需求。測試結(jié)果表明改進(jìn)后的網(wǎng)絡(luò)爬蟲的抓取效率較改進(jìn)前有明顯的提高。
　　本論文還針對Lucene在搜索結(jié)果排序算法方面的不足進(jìn)行了改進(jìn)。改進(jìn)前的Lucene排序算法根據(jù)查詢和包含關(guān)鍵字的文檔來計算相關(guān)度得分,沒有考慮網(wǎng)頁在互聯(lián)網(wǎng)中的重要程度,還不能完全適應(yīng)網(wǎng)頁搜索。改進(jìn)后的頁面優(yōu)先度排序算法在原有Lucene排序