基于Hadoop的分布式網(wǎng)絡(luò)爬蟲技術(shù).pdf

1、如今我們正生活在一個信息爆炸的年代，隨著互聯(lián)網(wǎng)行業(yè)迅猛發(fā)展，這些信息每年以指數(shù)型增長，同時對于隨時隨地獲取信息的需求也與日俱增，這些需求驅(qū)動了云計算的發(fā)展。在這個大背景之下，Google、IBM、Apache和Amazon等大型公司紛紛投入大量財力去發(fā)展云計算。其中Apache開發(fā)的Hadoop平臺是一個對用戶極為友好的開源云計算框架。本文所開發(fā)的分布式爬蟲系統(tǒng)即是在此框架下設(shè)計和實(shí)現(xiàn)的。
　　本文的目的設(shè)計并實(shí)現(xiàn)一個基于Hado

2、op的分布式爬蟲系統(tǒng)，完成大規(guī)模數(shù)據(jù)采集的任務(wù)。同時，該爬蟲系統(tǒng)采集信息類型為27種語言的主流新聞網(wǎng)站。該爬蟲的采集方式為全站式信息采集，即抓取27種語言種子對應(yīng)網(wǎng)站上的全部信息。另外，27種語言信息還要分別保存便于后面跨語言處理。
　　本文全部工作中研究部分包括云計算相關(guān)知識介紹、Hadoop分布式平臺相關(guān)知識介紹、網(wǎng)絡(luò)爬蟲原理和分布式爬蟲發(fā)展現(xiàn)狀調(diào)研。首先，對云計算的定義、原理和體系結(jié)構(gòu)進(jìn)行調(diào)研。然后，深入研究 Hadoop平

3、臺的分布式文件系統(tǒng)(HDFS)和分布式計算模型(Map/Reduce)。接著講述爬蟲系統(tǒng)的原理，了解開發(fā)一個爬蟲需要的流程。最后調(diào)研目前分布式爬蟲系統(tǒng)的發(fā)展現(xiàn)狀。
　　上面這些研究為本文提供了技術(shù)基礎(chǔ)，本文在此基礎(chǔ)上提出了基于Hadoop的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計方案，包括爬蟲系統(tǒng)的基本流程設(shè)計、框架設(shè)計、功能模塊劃分和各模塊的Map/Reduce設(shè)計。在概要設(shè)計的基礎(chǔ)之上，本文做出了系統(tǒng)的詳細(xì)設(shè)計，實(shí)現(xiàn)整個系統(tǒng)，包括數(shù)據(jù)存儲結(jié)構(gòu)