基于Map-Reduce的分布式Web服務(wù)搜索引擎研究與實現(xiàn).pdf

1、在Web服務(wù)技術(shù)中，UDDI注冊中心作為Web服務(wù)發(fā)布、發(fā)現(xiàn)和交流的平臺，起到了聯(lián)系用戶和Web服務(wù)發(fā)布者的橋梁作用，隨著公共UDDI注冊中心的陸續(xù)關(guān)閉，越來越多的服務(wù)提供者傾向于使用非注冊的方式直接將服務(wù)發(fā)布在各自的網(wǎng)站上。因此Web服務(wù)的部署有更加分散的趨勢，導致用戶搜索和發(fā)現(xiàn)感興趣的Web服務(wù)變得更加困難。在這種形勢下，利用搜索引擎技術(shù)來發(fā)現(xiàn)Web服務(wù)的研究開始成為最近的一個熱點。從Web服務(wù)概念的提出到現(xiàn)在已經(jīng)有十多年的時間，隨

2、著Web服務(wù)的廣泛應(yīng)用，也暴露出了越來越多的問題。與此同時，基于Rest風格的Web服務(wù)可以在繼承傳統(tǒng)Web服務(wù)優(yōu)勢的同時有效的解決的傳統(tǒng)Web服務(wù)所面臨的缺陷，受到了越來越多的企業(yè)和研究者的重視和關(guān)注，WebAPI則是一種典型的Rest風格的Web服務(wù)。現(xiàn)階段，已開放的WebAPI越來越多，但相對互聯(lián)網(wǎng)還十分分散，如何將已發(fā)布的WebAPI盡可能多的搜集起來供開發(fā)者使用，是一個很具有實際意義的研究問題。Map/Reduce是一個面向分

3、布式的編程模型，設(shè)計實現(xiàn)了一個能夠在多計算節(jié)點環(huán)境下計算和存儲超大規(guī)模數(shù)據(jù)集的算法，通過使用Map/Reduce技術(shù)能夠在普通的PC集群上方便快捷的部署分布式應(yīng)用程序，有效提高搜索引擎的系統(tǒng)性能和工作效率。
　　本文主要工作如下。
　　1.提出了基于Map/Reduce的分布式Web服務(wù)搜索引擎的體系架構(gòu)，并對相關(guān)的模塊做出了詳細的介紹。
　　2.利用Map/Reduce技術(shù)將整個系統(tǒng)構(gòu)建在Hadoop框架上，充分發(fā)揮

4、了計算機集群強大的計算和數(shù)據(jù)存儲能力，實驗證明本系統(tǒng)在抓取Web服務(wù)效率上明顯好于傳統(tǒng)集中式Web服務(wù)搜索引擎。
　　3.通過研究Web服務(wù)在互聯(lián)網(wǎng)上的分布情況，提出了一種多粒度待抓取URL優(yōu)先級算法，實驗證明，多粒度待抓取URL優(yōu)先級算法可以提高搜索引擎的工作效率。
　　4.通過對已經(jīng)獲取的部分WebAPI描述文檔的分析和研究，提出了一種針對WebAPI描述文檔的垂直搜索分析算法，通過實驗，驗證了利用網(wǎng)絡(luò)蜘蛛技術(shù)在互聯(lián)網(wǎng)上