基于分布式的搜索引擎技術(shù)研究與設計.pdf

1、隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡上的信息幾乎是呈現(xiàn)爆炸式增長，這對傳統(tǒng)的搜索引擎技術(shù)帶來不小的挑戰(zhàn)。面對海量數(shù)據(jù)的處理和存儲，人們對搜索引擎的需求，不僅僅局限于能夠盡可能地獲取準確的檢索結(jié)果，還需其具有更好的時效性，更高的可擴展性，更低的故障率。大數(shù)據(jù)時代，對數(shù)據(jù)的處理能力要求越來越高，隨著分布式計算技術(shù)的不斷發(fā)展，以及云計算的不斷普及，基于分布式的搜索引擎無疑會成為未來發(fā)展的趨勢。
　　本論文針對基于分布式的搜索引擎，

2、論述了國內(nèi)外對搜索引擎的研究現(xiàn)狀以及未來發(fā)展的趨勢，分析了搜索引擎的工作原理，詳細介紹了分布式搜索引擎涉及的相關(guān)理論技術(shù)。對主要的幾種分布式搜索引擎方案進行對比分析，研究改進措施，提出了基于Hadoop的分布式搜索引擎技術(shù)方案。根據(jù)搜索引擎本身特點，將搜索引擎分為爬行、索引、檢索三個子模塊，對系統(tǒng)的每個子模塊進行詳細設計并實現(xiàn)，將Hadoop的Map/Reduce模型和分布式文件系統(tǒng)HDFS應用在整個搜索引擎中。在原有PageRank算

3、法基礎，進行優(yōu)化，添加用戶訪問反饋影響因子，提出一種基于用戶訪問反饋的PageRank算法，來對網(wǎng)頁進行評分。利用輕量級Web應用框架SpringMVC對檢索子模塊進行構(gòu)建，視圖層采用新一代Java模板引擎jetbrick-template替代Jsp，提高了頁面加載速度，提升搜索引擎的時效性。
　　最后，對實驗環(huán)境進行介紹和部署，搭建分布式搜索引擎系統(tǒng)，對實現(xiàn)的搜索引擎系統(tǒng)從功能、可靠性、可擴展性幾個方面分別進行了測試。對實驗結(jié)果