并行爬行器的架構(gòu)與優(yōu)化策略.pdf

1、本文對并行爬行器的架構(gòu)與優(yōu)化策略進行了研究。文章的研究內(nèi)容主要包括：分析并行爬行器現(xiàn)有的實現(xiàn)技術(shù)，包括系統(tǒng)框架，任務(wù)分配算法，系統(tǒng)內(nèi)部通信方式和協(xié)作方式。以主從結(jié)構(gòu)為基本模型，闡述了基于NFS的并行爬行器系統(tǒng)架構(gòu)，協(xié)作機制，以及在此機制下并行爬行器的數(shù)據(jù)處理流程和數(shù)據(jù)并發(fā)訪問的處理方法。 文章針對并行爬行器所遇到的實際問題，實現(xiàn)了三種優(yōu)化策略：沖突規(guī)避，URL索引和DNS緩沖。沖突規(guī)避算法將URL散列和站點名散列相結(jié)合，應(yīng)用多線

2、程技術(shù)，在實現(xiàn)了負載平衡同時，又避免了并行爬行器的并發(fā)沖突。URL索引采用了索引散列值的方法，基于BerkeleyDB實現(xiàn)了Hash和B+樹兩種URL索引庫，滿足了爬行器快速查找URL的需要，為其正常運行提供了保障。DNS緩沖通過客戶機緩沖的方式，采用全緩沖策略，解決了域名解析的瓶頸，提高了并行爬行器的運行效率。設(shè)計實現(xiàn)了實驗原型系統(tǒng)ChaoCrawler。通過在互聯(lián)網(wǎng)上進行實驗，檢驗了并行爬行器ChaoCrawler的運行效果，并由此