分布式網(wǎng)絡(luò)爬蟲的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，人們在工作和生活中對互聯(lián)網(wǎng)信息的需求也越來越多，搜索引擎技術(shù)的重要性越加明顯?；ヂ?lián)網(wǎng)信息在很多方面都有非常廣泛的應(yīng)用，搜索引擎技術(shù)已經(jīng)深入人心，融入人們的生活，對人們的生活影響越來越大，而網(wǎng)絡(luò)爬蟲是搜索引擎中非常重要的一個部分。
　　目前，基于單機的網(wǎng)絡(luò)爬蟲抓取能力已經(jīng)不能滿足當(dāng)前互聯(lián)網(wǎng)的需求，這樣就促使了基于分布式網(wǎng)絡(luò)爬蟲技術(shù)的出現(xiàn)。構(gòu)建分布式系統(tǒng)，多臺機器有效的合作分工，提高了超大數(shù)據(jù)量的計算速度，提

2、高了網(wǎng)絡(luò)爬蟲的抓取性能。運用分布式存儲，對整個系統(tǒng)數(shù)據(jù)的存儲的性能也能大大提高。
　　本文詳細(xì)介紹了分布式網(wǎng)絡(luò)爬蟲，設(shè)計并實現(xiàn)了基于Hadoop平臺的分布式網(wǎng)絡(luò)爬蟲，以解決單機網(wǎng)絡(luò)爬蟲的速度慢、效率低下等問題，本文的主要研究工作如下:
　　(1)介紹了搜索引擎技術(shù)，分布式網(wǎng)絡(luò)爬蟲的工作原理和關(guān)鍵技術(shù)，分布式網(wǎng)絡(luò)爬蟲整體系統(tǒng)的架構(gòu)設(shè)計，分析了關(guān)鍵組成模塊的具體實現(xiàn)流程和實現(xiàn)原理，各模塊的MapReduce的實現(xiàn)方式。
　

3、　(2)針對網(wǎng)頁抓取模塊的已有算法影響抓取內(nèi)容和抓取速度的問題，提出了URL權(quán)重算法的優(yōu)化方法，在抓取過后，對URL的過濾和去重也是極其重要的環(huán)節(jié)，對URL去重策略也進行了優(yōu)化，解決了網(wǎng)絡(luò)爬蟲抓取方面速度慢、抓取內(nèi)容冗余的問題，大大提高了網(wǎng)絡(luò)爬蟲抓取速度和準(zhǔn)確度。
　　(3)搭建分布式系統(tǒng)的測試環(huán)境，從功能性測試、性能測試、可擴展性測試三個方面設(shè)計了測試方案，并對URL權(quán)重算法和URL去重策略優(yōu)化前后進行了對比測試。
　　總