基于Hadoop的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，云計(jì)算、大數(shù)據(jù)的快速發(fā)展，互聯(lián)網(wǎng)資源的不斷增多，搜索引擎在信息檢索方面起著關(guān)鍵性的作用，在日常生活中人們已經(jīng)離不開搜索引擎，搜索引擎能夠?yàn)槿藗兛焖贉?zhǔn)確地提供所需要的信息。網(wǎng)絡(luò)爬蟲作為搜索引擎的關(guān)鍵組成部分，直接影響著搜索引擎的性能。本文基于Hadoop平臺(tái)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)。
　　本文基于 Hadoop分布式平臺(tái)、Hbase列式數(shù)據(jù)庫、Storm實(shí)時(shí)處理平臺(tái)以及網(wǎng)絡(luò)爬蟲的基本原理，結(jié)合用戶

2、關(guān)于網(wǎng)絡(luò)爬蟲的實(shí)際需求，明確網(wǎng)絡(luò)爬蟲系統(tǒng)實(shí)現(xiàn)的總體目標(biāo)、功能以及性能需求，設(shè)計(jì)出基于Hadoop的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)架構(gòu)。根據(jù)各個(gè)模塊的功能以及MapReduce計(jì)算框架的特點(diǎn)對(duì)每個(gè)模塊進(jìn)行基于MapReduce計(jì)算框架的算法設(shè)計(jì)以及實(shí)現(xiàn)，在抓取任務(wù)模塊和解析頁面模塊將抓取狀態(tài)、解析狀態(tài)實(shí)時(shí)寫入到Kafka消息隊(duì)列，基于Storm平臺(tái)實(shí)時(shí)計(jì)算相關(guān)指標(biāo)結(jié)果。最后搭建Hadoop分布式平臺(tái)和Storm實(shí)時(shí)處理平臺(tái)對(duì)本文所實(shí)現(xiàn)的分布式網(wǎng)絡(luò)爬蟲

3、系統(tǒng)進(jìn)行測試。
　　本文所實(shí)現(xiàn)的網(wǎng)絡(luò)爬蟲系統(tǒng)具有以下特點(diǎn)：將網(wǎng)絡(luò)爬蟲的抓取任務(wù)通過MapReduce分布式計(jì)算框架實(shí)現(xiàn)，從而將爬蟲任務(wù)并行化；將抓取到的數(shù)據(jù)存儲(chǔ)到Hbase分布式數(shù)據(jù)庫中，從而將數(shù)據(jù)均勻分布到各個(gè)節(jié)點(diǎn)上，并提高了數(shù)據(jù)讀寫速度；引入Storm實(shí)時(shí)計(jì)算平臺(tái)，實(shí)時(shí)統(tǒng)計(jì)網(wǎng)絡(luò)爬蟲運(yùn)行過程中產(chǎn)生的相關(guān)指標(biāo)。本文網(wǎng)絡(luò)爬蟲系統(tǒng)將抓取到的頁面內(nèi)容存儲(chǔ)到Hbase數(shù)據(jù)庫中，解決了以往分布式網(wǎng)絡(luò)爬蟲將頁面內(nèi)容存儲(chǔ)到 HDFS文件系統(tǒng)中讀