基于Hadoop的分布式網(wǎng)絡(luò)爬蟲技術(shù).pdf

1、如今我們正生活在一個(gè)信息爆炸的年代，隨著互聯(lián)網(wǎng)行業(yè)迅猛發(fā)展，這些信息每年以指數(shù)型增長，同時(shí)對(duì)于隨時(shí)隨地獲取信息的需求也與日俱增，這些需求驅(qū)動(dòng)了云計(jì)算的發(fā)展。在這個(gè)大背景之下，Google、IBM、Apache和Amazon等大型公司紛紛投入大量財(cái)力去發(fā)展云計(jì)算。其中Apache開發(fā)的Hadoop平臺(tái)是一個(gè)對(duì)用戶極為友好的開源云計(jì)算框架。本文所開發(fā)的分布式爬蟲系統(tǒng)即是在此框架下設(shè)計(jì)和實(shí)現(xiàn)的。
　　本文的目的設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于Hado

2、op的分布式爬蟲系統(tǒng)，完成大規(guī)模數(shù)據(jù)采集的任務(wù)。同時(shí)，該爬蟲系統(tǒng)采集信息類型為27種語言的主流新聞網(wǎng)站。該爬蟲的采集方式為全站式信息采集，即抓取27種語言種子對(duì)應(yīng)網(wǎng)站上的全部信息。另外，27種語言信息還要分別保存便于后面跨語言處理。
　　本文全部工作中研究部分包括云計(jì)算相關(guān)知識(shí)介紹、Hadoop分布式平臺(tái)相關(guān)知識(shí)介紹、網(wǎng)絡(luò)爬蟲原理和分布式爬蟲發(fā)展現(xiàn)狀調(diào)研。首先，對(duì)云計(jì)算的定義、原理和體系結(jié)構(gòu)進(jìn)行調(diào)研。然后，深入研究 Hadoop平

3、臺(tái)的分布式文件系統(tǒng)(HDFS)和分布式計(jì)算模型(Map/Reduce)。接著講述爬蟲系統(tǒng)的原理，了解開發(fā)一個(gè)爬蟲需要的流程。最后調(diào)研目前分布式爬蟲系統(tǒng)的發(fā)展現(xiàn)狀。
　　上面這些研究為本文提供了技術(shù)基礎(chǔ)，本文在此基礎(chǔ)上提出了基于Hadoop的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)方案，包括爬蟲系統(tǒng)的基本流程設(shè)計(jì)、框架設(shè)計(jì)、功能模塊劃分和各模塊的Map/Reduce設(shè)計(jì)。在概要設(shè)計(jì)的基礎(chǔ)之上，本文做出了系統(tǒng)的詳細(xì)設(shè)計(jì)，實(shí)現(xiàn)整個(gè)系統(tǒng)，包括數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)