基于Lucene的垂直搜索引擎的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術的飛速發(fā)展,網(wǎng)絡信息資源的數(shù)量呈現(xiàn)出數(shù)量級的遞增。傳統(tǒng)的搜索引擎由于不能獲取即時更新的網(wǎng)絡信息資源,在面對用戶的即時性查詢或者深度而專業(yè)的搜索請求時,便顯得力不從心。在這種情況下,面向特定領域的垂直搜索引擎便產(chǎn)生了,相對于通用搜索引擎的查詢不準確以及深度不夠等局限性,垂直搜索引擎的產(chǎn)生正是為了滿足用戶專業(yè)而有深度的搜索請求服務的。
　　垂直搜索引擎專注于特定的一個領域,比如房產(chǎn)、旅游、汽車、教育等。提供專一化、有深度

2、的信息檢索服務。和通用搜索引擎相比,垂直搜索引擎的查詢結(jié)果是和特定行業(yè)或特定領域相關的,由于相關的信息量較少,能夠及時更新,這樣就保證了查詢結(jié)果的實時性和準確性。
　　本文首先介紹了垂直搜索引擎的研究背景和研究意義,以及垂直搜索引擎的發(fā)展現(xiàn)狀等。接著對垂直搜索引擎關鍵技術進行了介紹,主要包括網(wǎng)絡爬蟲的抓取過程和爬行策略,網(wǎng)頁的主題信息提取算法、網(wǎng)頁排序算法。
　　接著對經(jīng)典的網(wǎng)頁排序算法進行了研究,包括PageRank算法,

3、HITS算法。本文是在標準PageRank算法的基礎上,添加了網(wǎng)頁相似度判斷的因子,以及表示網(wǎng)頁新舊程度的時間因子。通過對PageRank算法的改進,能夠較好的改善標準算法中存在的主題漂移以及查詢結(jié)果偏重舊網(wǎng)頁的問題,從而較好的改進了排序的結(jié)果。
　　然后對開源Lucene及其關鍵技術進行了詳細闡述,主要包括Lucene的系統(tǒng)組成、索引過程、評分機制及其檢索過程。
　　最后,通過研究垂直搜索引擎的關鍵技術,分析并設計了垂直搜