分布式爬蟲的動態(tài)負載均衡方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，搜索引擎成為互聯(lián)網(wǎng)用戶查找信息的第一入口，作為搜索引擎核心組件的網(wǎng)絡(luò)爬蟲用于在互聯(lián)網(wǎng)上采集數(shù)據(jù)?，F(xiàn)在網(wǎng)絡(luò)信息正以指數(shù)級的速度不斷膨脹，網(wǎng)頁采集的完整性和實時性的難度越來越大，這給爬蟲系統(tǒng)帶來了巨大的挑戰(zhàn)。
　　如何充分地利用計算機的硬件資源和網(wǎng)絡(luò)帶寬高效地采集頁面,同時減少由URL判重所帶來的大量通信開銷，是分布式爬蟲系統(tǒng)研究的核心問題。針對這個問題，本文以提高分布式爬蟲系統(tǒng)的性能為核心，進行了以下研究：

2、r>　　深入研究了分布式系統(tǒng)優(yōu)缺點、分布式系統(tǒng)的任務(wù)調(diào)度、網(wǎng)絡(luò)爬蟲工作原理和爬行策略的基礎(chǔ)上，結(jié)合網(wǎng)絡(luò)爬蟲自身特點、互聯(lián)網(wǎng)結(jié)構(gòu)特點和站點頁面間的相似性，提出了基于在線反饋的站點規(guī)模動態(tài)預(yù)測算法。站點規(guī)模動態(tài)預(yù)測算法首先對站點規(guī)模進行分類，然后根據(jù)互聯(lián)網(wǎng)結(jié)構(gòu)的疏密性和爬蟲的爬行原理，提出了站點增長比的概念，在爬蟲爬行的過程中，在線采集計算增長比的信息，通過計算出的增長比的反饋，對站點規(guī)模進行逐步預(yù)測，并基于采集的數(shù)據(jù)進行了算法模型的訓(xùn)練和

3、驗證；
　　將基于在線反饋的站點規(guī)模動態(tài)預(yù)測算法融入到分布式爬蟲系統(tǒng)中，可根據(jù)預(yù)測出的站點規(guī)模，減少URL判重所帶來的大量通信開銷。針對站點規(guī)模計算出爬行器所承載的任務(wù)負荷量，通過監(jiān)視器定時收集爬行器自身負荷當量，基于以上兩點計算爬行器間的負載系數(shù)，并以此為依據(jù)進行任務(wù)調(diào)度，以達到負載均衡的效果；
　　結(jié)合以上理論基礎(chǔ)和研究成果，本文設(shè)計并開發(fā)了基于站點規(guī)模的動態(tài)任務(wù)分割算法的分布式爬蟲系統(tǒng)，該分布式爬蟲系統(tǒng)能很好地處理新增