基于MapReduce的分布式搜索引擎研究.pdf

1、隨著資源爆炸式增長，搜索引擎已成為互聯(lián)網(wǎng)用戶獲取信息的重要工具，傳統(tǒng)搜索引擎多采用集中式架構(gòu)，將搜索系統(tǒng)部署在一臺(tái)服務(wù)器上，因此對(duì)服務(wù)器性能要求較高，且存在系統(tǒng)穩(wěn)定性與可擴(kuò)展性不高等問題;另外它采用詞匹配模式，致使用戶無法從海量數(shù)據(jù)中快速準(zhǔn)確獲取信息，在信息覆蓋率、結(jié)果相關(guān)性和準(zhǔn)確性方面都無法滿足用戶的更高需求。近年來，分布式計(jì)算理論被廣泛的研究，基于分布式計(jì)算的搜索引擎應(yīng)運(yùn)而生，它克服了集中式搜索引擎的不足，通過擴(kuò)展系統(tǒng)的服務(wù)器來實(shí)現(xiàn)

2、大數(shù)據(jù)量的處理，同時(shí)引入用戶個(gè)性化搜索模型，結(jié)合了語義分析等研究熱點(diǎn)，已成為數(shù)據(jù)挖掘和智能信息處理領(lǐng)域的研究熱點(diǎn)。
　　 通過對(duì)搜索引擎的工作原理、結(jié)構(gòu)和分布式計(jì)算等相關(guān)技術(shù)的研究，本文對(duì)基于MapReduce分布式搜索引擎中的模型框架、數(shù)據(jù)處理流程、排序算法優(yōu)化和主題爬蟲進(jìn)行了研究。主要研究工作包括以下幾個(gè)方面:
　　 (1)通過研究分布式文件系統(tǒng)(HDFS)，分析了MapReduce編程模型的工作原理，針對(duì)原架構(gòu)中單

3、一NameNode控制結(jié)構(gòu)存在負(fù)載不均衡及性能瓶頸等問題，提出了基于多NameNode節(jié)點(diǎn)控制的結(jié)構(gòu);在MapReduee模型處理數(shù)據(jù)過程中，因中間結(jié)果中Key值過于分散或集中，造成了數(shù)據(jù)不均衡問題，導(dǎo)致Reduce端作業(yè)的執(zhí)行時(shí)間過長或失敗，本文通過在Map階段處理后，引入數(shù)據(jù)平衡機(jī)制，從而提高了系統(tǒng)的性能并降低了系統(tǒng)的故障率。
　　 (2)PageRank算法采用的是平均分配權(quán)值的思路，且沒考慮頁面間相關(guān)性;本文通過引入相關(guān)

4、度和時(shí)效性機(jī)制，使算法能同時(shí)兼顧鏈接間的主題相關(guān)性和頁面的時(shí)效性;PageRank算法在計(jì)算網(wǎng)頁權(quán)值時(shí)會(huì)產(chǎn)生大量的中間迭代數(shù)據(jù)，從而導(dǎo)致算法性能降低，本文采用了基于塊結(jié)構(gòu)算法劃分網(wǎng)絡(luò)的方法，有效地減少了中間迭代計(jì)算所產(chǎn)生的數(shù)據(jù)量，提高了算法的性能。
　　 (3)通過采用基于詞頻差異的特征選取方法和改進(jìn)后的TF-IDF公式，改進(jìn)了Context Graph爬蟲搜索策略，綜合考慮了網(wǎng)頁不同部分的文本信息對(duì)特征選取，及各特征詞類間權(quán)重