基于MPI的分布式搜索引擎設(shè)計與實現(xiàn).pdf

1、當(dāng)今世界已經(jīng)處在了信息時代，隨著信息技術(shù)尤其是互聯(lián)網(wǎng)技術(shù)的發(fā)展，全世界范圍內(nèi)的互聯(lián)網(wǎng)信息總量一直處于爆炸式的增長。巨大的信息量，已經(jīng)讓人們無法從海量信息里找到自己當(dāng)前最需要的內(nèi)容。正是在這樣的背景下，搜索引擎開始在人們的網(wǎng)絡(luò)使用中占據(jù)了越來越重要的地位。
　　教育網(wǎng)內(nèi)的資源對于高校內(nèi)部的用戶來說非常有價值，但是卻是目前主流商用搜索引擎較為忽略的地方。本文的目標(biāo)就是設(shè)計一個專門使用在教育網(wǎng)內(nèi)的搜索引擎，先期服務(wù)目標(biāo)是一個高校范圍內(nèi)的

2、網(wǎng)頁搜索，進而對系統(tǒng)進行擴展，以期提供對整個教育網(wǎng)的網(wǎng)頁搜索服務(wù)。
　　在對搜索引擎技術(shù)進行深入學(xué)習(xí)研究的基礎(chǔ)上，本文給出了一種基于MPI消息傳遞機制的分布式搜索引擎的設(shè)計，并實現(xiàn)了其中的幾大關(guān)鍵模塊。整個搜索引擎系統(tǒng)全部采用分布式架構(gòu)，具備良好的可擴展性。本文在最終成型的系統(tǒng)中，設(shè)計實現(xiàn)了基于MPI的分布式PageRank算法，并完成了對大量數(shù)據(jù)的計算;設(shè)計實現(xiàn)了基于MPI的分布式倒排索引算法，并在數(shù)據(jù)處理上使用了MapRedu