Nutch搜索引擎中網(wǎng)頁(yè)排序技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,搜索引擎已經(jīng)成為人們獲取網(wǎng)絡(luò)信息的主要工具。研究搜索引擎網(wǎng)頁(yè)排序的目的是從眾多搜索結(jié)果中將內(nèi)容相關(guān)和權(quán)威的網(wǎng)頁(yè)排在前面,幫助用戶迅速定位需要的網(wǎng)絡(luò)資源。網(wǎng)頁(yè)排序算法直接影響到搜索引擎信息檢索的準(zhǔn)確率和用戶使用滿意度。Nutch是基于Java實(shí)現(xiàn)的開源搜索引擎。通過對(duì)Nutch進(jìn)行深入研究,指出其目前存在的兩大問題,其一是沒有實(shí)現(xiàn)PageRank算法,影響了最終排序效果;其二是對(duì)中文進(jìn)行單字切分,影響了查詢結(jié)果準(zhǔn)

2、確率。
　　 首先,針對(duì)目前Nutch搜索引擎中沒有實(shí)現(xiàn)網(wǎng)頁(yè)P(yáng)ageRank計(jì)算的問題,利用MapReduce并行計(jì)算模型處理大數(shù)據(jù)集的優(yōu)勢(shì),在Nutch機(jī)群系統(tǒng)上設(shè)計(jì)和實(shí)現(xiàn)了基于MapReduce的PageRank分布式并行算法。實(shí)驗(yàn)結(jié)果表明:處理的數(shù)據(jù)量越大,機(jī)群中的節(jié)點(diǎn)越多,計(jì)算PageRank的效率越高;另外,該分布式并行算法具有較好的可擴(kuò)展性。然后,針對(duì)目前Nutch對(duì)中文進(jìn)行單字切分的問題,加入了JE中文分詞器對(duì)Nu