基于MapReduce的分布式搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著信息時(shí)代的到來，以文本文件為主的存儲方式逐步向多媒體文件存儲類型轉(zhuǎn)化，海量數(shù)據(jù)逐日累加，為搜索引擎技術(shù)的發(fā)展帶來了巨大的挑戰(zhàn)和機(jī)遇。隨著網(wǎng)絡(luò)的普及和網(wǎng)絡(luò)技術(shù)的不斷提高，用戶對于數(shù)據(jù)搜索功能的要求也逐步提高。擁有準(zhǔn)確、合理、完整的檢索結(jié)果，是搜索引擎成為信息時(shí)代一個(gè)不可或缺工具的前提。怎樣從互聯(lián)網(wǎng)的海量數(shù)據(jù)中提取有效信息，快速處理檢索內(nèi)容并將檢索結(jié)果層次分明的返回給用戶將是搜索引擎技術(shù)發(fā)展的主題。
　　本文對搜索引擎的信息采集、

2、信息預(yù)處理和用戶交互的原理進(jìn)行分析，討論當(dāng)前主要的分布式計(jì)算技術(shù)，MapReduce編程模型、Hadoop平臺、網(wǎng)格計(jì)算和云計(jì)算技術(shù)，參照分布式搜索引擎數(shù)據(jù)處理的基本流程，對整個(gè)基于MapReduce的分布式智能搜索引擎的運(yùn)行過程進(jìn)行詳細(xì)的分析。并通過對以上分布式搜索引擎技術(shù)的研究，針對基于MapReduce分布式搜索引擎中的模型框架、數(shù)據(jù)處理流程和排序算法優(yōu)化進(jìn)行了研究。主要研究工作包括以下兩方面:
　　(1)通過對MapRed

3、uce框架結(jié)構(gòu)的研究，分析基于MapReduce編程模型的分布式搜索引擎的工作原理，對于MapReduce框架中存在的多節(jié)點(diǎn)控制結(jié)構(gòu)數(shù)據(jù)分配不均系統(tǒng)性能低的問題，采用了基于多節(jié)點(diǎn)的控制結(jié)構(gòu);針對MapReduce編程模型數(shù)據(jù)處理流程中中間數(shù)據(jù)傳遞緩慢和任務(wù)分配不均，最終導(dǎo)致系統(tǒng)任務(wù)執(zhí)行失敗的問題，通過引入數(shù)據(jù)平衡機(jī)制對中間數(shù)據(jù)表提前進(jìn)行處理，再將處理結(jié)果值返回到reduce階段，提高了系統(tǒng)執(zhí)行任務(wù)的成功率。
　　(2)PageRa