基于ProActive的分布式并行Web Spider研究.pdf

1、搜索引擎面對(duì)不斷爆炸性增長的互聯(lián)網(wǎng)信息，為了保證搜索的全面性和頁面的有效性，就要求有更短的更新周期，于是對(duì)Web Spider的采集效率提出了更高的要求。單機(jī)的Web Spider的采集效率明顯不能滿足搜索引擎的更新需求。目前的分布式并行Web Spider大都用C、C++、Fortran編寫的PVM或MPI程序，或者直接用java開發(fā)，然而PVM或MPI程序，具有可移植性差，不便于擴(kuò)展，配置復(fù)雜等缺點(diǎn)，直接用java開發(fā)，為了實(shí)現(xiàn)把本

2、地對(duì)象轉(zhuǎn)化成可用的遠(yuǎn)程對(duì)象，要求編程人員對(duì)庫中現(xiàn)有代碼做較大修改，這給編程人員增加了很大的負(fù)擔(dān)，開發(fā)代價(jià)過高。URL去重算法對(duì)重復(fù)率高的URL集合去重效率不高。帶有中心節(jié)點(diǎn)的整體架構(gòu)不夠合理，中心節(jié)點(diǎn)容易形成系統(tǒng)性能瓶頸，影響了系統(tǒng)的可擴(kuò)展性。 針對(duì)Web Spider設(shè)計(jì)開發(fā)代價(jià)過高的不足，我們提出了一種利用ProActive網(wǎng)格網(wǎng)絡(luò)并行分布計(jì)算中間件開發(fā)分布式Web Spider的新技術(shù)，并且用此技術(shù)設(shè)計(jì)開發(fā)了一個(gè)分布式并行

3、Web Spider系統(tǒng)。實(shí)驗(yàn)證明利用此項(xiàng)技術(shù)，使得系統(tǒng)采集效率提高，部署配置變得更加靈活方便，開發(fā)代價(jià)大幅降低。然后，我們針對(duì)在Web Spider采集的高重復(fù)率URL集合上，目前系統(tǒng)中普遍采用的URL去重算法去重效率不高的不足做了改進(jìn)，設(shè)計(jì)了基于Rabin算法的URL去重算法。通過理論分析和對(duì)比實(shí)驗(yàn)證明該去重算法在高重復(fù)率的URL集合上有更高的去重效率，有效提高了Web Spider的URL去重檢索速度。最后，應(yīng)用該改進(jìn)的URL去重