基于Lucene網(wǎng)頁排名改進的分布式搜索系統(tǒng).pdf

1、近年來，互聯(lián)網(wǎng)信息量日益龐大，如何從海量數(shù)據(jù)中高效準確定位到目標信息成為搜索引擎的一大挑戰(zhàn)。構(gòu)建大規(guī)模集群實現(xiàn)對目標信息的分布式并行搜索是應對上述問題的重要途徑，這為分布式搜索領(lǐng)域的高速發(fā)展提供了土壤，許多與此相關(guān)的技術(shù)很快出現(xiàn)，如Hadoop、Spark等，與此同時，對信息進行準確篩選與過濾顯得尤為重要，這便要求完善信息評判機制，以實現(xiàn)對信息的有效甄別。
　　在上述前提下，本文深入分析了搜索引擎的相關(guān)原理和實現(xiàn)機制，詳細介紹了H

2、adoop相關(guān)技術(shù)和開源工具Lucene相關(guān)技術(shù)，并在此基礎(chǔ)上展開了構(gòu)建高性能搜索引擎的研究工作。首先，為實現(xiàn)信息采集過程中URL高效過濾與去重，本文采用嵌入式數(shù)據(jù)庫BerkeleyDB記錄已處理鏈接隊列，BerkeleyDB與調(diào)用程序共享內(nèi)存空間保證了訪問的快捷性。其次，本文采用追加方式進行索引更新，針對新加入數(shù)據(jù)不必重建整個索引，而是為新數(shù)據(jù)單獨生成索引文件，并且可以獨立訪問。當追加索引文件個數(shù)達到閾值時引發(fā)合并操作，本文通過實驗選

3、取了最優(yōu)閾值大大提高了構(gòu)建索引的效率。然后，分析了已有的幾種網(wǎng)頁評分算法的優(yōu)缺點，基于Lucene固有的網(wǎng)頁評分算法做出了改進，提出了基于詞頻位置加權(quán)和文檔新鮮度的網(wǎng)頁評分算法，本算法不單是關(guān)注查詢關(guān)鍵詞在網(wǎng)頁中出現(xiàn)的次數(shù)，還將查詢詞在網(wǎng)頁中出現(xiàn)的位置以及網(wǎng)頁的新鮮程度作為網(wǎng)頁得分的重要影響因子，這種方式能夠更加全面地評判網(wǎng)頁的優(yōu)劣程度。
　　最后，本文先基于開源Java工具包Lucene構(gòu)建出單節(jié)點搜索子系統(tǒng)，子系統(tǒng)具備完整搜索