Nutch搜索引擎中網(wǎng)頁排序技術的研究.pdf

1、隨著互聯(lián)網(wǎng)技術的不斷發(fā)展,搜索引擎已經(jīng)成為人們獲取網(wǎng)絡信息的主要工具。研究搜索引擎網(wǎng)頁排序的目的是從眾多搜索結果中將內(nèi)容相關和權威的網(wǎng)頁排在前面,幫助用戶迅速定位需要的網(wǎng)絡資源。網(wǎng)頁排序算法直接影響到搜索引擎信息檢索的準確率和用戶使用滿意度。Nutch是基于Java實現(xiàn)的開源搜索引擎。通過對Nutch進行深入研究,指出其目前存在的兩大問題,其一是沒有實現(xiàn)PageRank算法,影響了最終排序效果;其二是對中文進行單字切分,影響了查詢結果準

2、確率。
　　 首先,針對目前Nutch搜索引擎中沒有實現(xiàn)網(wǎng)頁PageRank計算的問題,利用MapReduce并行計算模型處理大數(shù)據(jù)集的優(yōu)勢,在Nutch機群系統(tǒng)上設計和實現(xiàn)了基于MapReduce的PageRank分布式并行算法。實驗結果表明:處理的數(shù)據(jù)量越大,機群中的節(jié)點越多,計算PageRank的效率越高;另外,該分布式并行算法具有較好的可擴展性。然后,針對目前Nutch對中文進行單字切分的問題,加入了JE中文分詞器對Nu