基于Hadoop的搜索引擎的研究與應用.pdf

1、隨著網(wǎng)絡信息技術的大規(guī)模普及，用戶對于信息檢索的要求日益嚴格。實現(xiàn)快速、準確且全面的信息搜索能為各類機構獲得較高的客戶滿意度和良好的商業(yè)效益。由于技術和經(jīng)濟實力受限，大多數(shù)中小型機構難以像大型機構那樣根據(jù)用戶需求實現(xiàn)專有的高效搜索體系，也難以結合中小型機構自身的需求作進一步的個性化設計。因此如何有效利用現(xiàn)有搜索引擎巨頭的技術，為更多機構，尤其是具備一定數(shù)據(jù)集，但經(jīng)濟承載力較小、核心開發(fā)能力較弱的中小型企業(yè)、高校及科研機構等提供強大的搜索

2、計算技術和多樣化服務，成為當前搜索領域的研究重點和難點。
　　本文結合實際應用需求，研究基于Hadoop的分布式搜索引擎原理、相關技術和算法，深入剖析分布式計算框架MapReduce和分布式文件系統(tǒng)HDFS，引入MapReduce編程模型的具體設計方案，將BM25排序模型集成于Lucene實現(xiàn)檢索評分，采用Paoding分詞器做中文分詞處理，完成了系統(tǒng)在Hadoop平臺的架構設計，確定了系統(tǒng)功能劃分，分析并設計爬行、索引和檢索流程

3、，完成了三個子系統(tǒng)的改進與實現(xiàn)。
　　在分析、評價和總結中小型機構實現(xiàn)信息高效搜索的需求和現(xiàn)存弊端的基礎之上，本文集成三個相對獨立的子系統(tǒng)的設計與實現(xiàn)，完成了Hadoop框架搭建和相關配置，部署實現(xiàn)了3個節(jié)點的分布式搜索引擎系統(tǒng)。最后從中小型機構用戶的搜索需求出發(fā)，對本系統(tǒng)性能進行測試與評價。具體以浙江理工大學網(wǎng)站作為實驗對象，在三節(jié)點的分布式平臺與單機環(huán)境下考察系統(tǒng)進行網(wǎng)頁爬取和索引的效率。爬行和索引用時計算結果表明，對于200

4、00個網(wǎng)頁，集群用時相比單機節(jié)省約15.64％。隨著網(wǎng)頁數(shù)量的增加，該差異逐漸擴大。同時通過比較不同網(wǎng)頁數(shù)對應的檢索結果匹配度，計算得出基于Hadoop的分布式搜索引擎系統(tǒng)檢索的平均準確率較單機環(huán)境提升了近20％。實驗結果表明，在機構網(wǎng)頁量增加到一定程度后，該面向中小型機構的分布式搜索引擎系統(tǒng)較傳統(tǒng)集中式搜索引擎能更快速獲取用戶需要的更加精準的檢索結果且系統(tǒng)安全穩(wěn)定性和可擴展性得到提升，從而改善了中小型機構信息檢索效能，加快其信息化程度