基于高實(shí)時(shí)分布式網(wǎng)絡(luò)的爬蟲(chóng)軟件設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)，尤其是移動(dòng)互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)數(shù)字信息幾何級(jí)的規(guī)模增長(zhǎng)，如何有效的提取這些信息，使數(shù)據(jù)分析更為方便，是網(wǎng)絡(luò)爬蟲(chóng)研究的主要內(nèi)容。隨著分布式系統(tǒng)的興起，包括分布式計(jì)算與分布式存儲(chǔ)，這些技術(shù)框架的廣泛應(yīng)用使人們看到分布式系統(tǒng)在面對(duì)大規(guī)模數(shù)據(jù)的處理問(wèn)題上的優(yōu)勢(shì)。
　　本文實(shí)現(xiàn)了一種高實(shí)時(shí)分布式的網(wǎng)絡(luò)爬蟲(chóng)軟件，并以新浪微博為例實(shí)現(xiàn)了對(duì)微博用戶(hù)信息以及博文的爬取，根據(jù)實(shí)際需要實(shí)現(xiàn)了分布式系統(tǒng)框架，包括節(jié)點(diǎn)通信與負(fù)載分配問(wèn)題。本文的主

2、要工作內(nèi)容如下:
　　1)分析國(guó)內(nèi)外爬蟲(chóng)軟件與分布式系統(tǒng)的研究現(xiàn)狀，介紹典型技術(shù)框架的原理以及應(yīng)用情況。
　　2)在分布式系統(tǒng)方面，本文提出了應(yīng)用RDMA技術(shù)實(shí)現(xiàn)節(jié)點(diǎn)之間的內(nèi)核旁路低延遲傳輸技術(shù)，保證了爬蟲(chóng)軟件的運(yùn)行效率以及實(shí)時(shí)性。為了保證負(fù)載均衡與系統(tǒng)的健壯性，本文提出了一種簡(jiǎn)單但有效的負(fù)載分配方案。
　　3)針對(duì)微博頁(yè)面制訂了爬蟲(chóng)策略，應(yīng)用Scrapy框架實(shí)現(xiàn)了爬蟲(chóng)模塊，運(yùn)用數(shù)據(jù)庫(kù)服務(wù)器做為節(jié)點(diǎn)之間的樞紐，并根據(jù)實(shí)