基于Nutch的分布式爬蟲研究與優(yōu)化.pdf

1、隨著大數(shù)據(jù)時代的到來，互聯(lián)網(wǎng)上的數(shù)據(jù)正在迅速膨脹并變大，數(shù)據(jù)的采集速度越來越不能滿足實際需要。爬蟲系統(tǒng)需要抓取的網(wǎng)頁數(shù)量巨大，如何高效、穩(wěn)定地抓取網(wǎng)頁非常重要。網(wǎng)頁分布廣及動態(tài)變化也使爬蟲系統(tǒng)很難保持本地網(wǎng)頁時新性，爬蟲需要及時更新本地網(wǎng)頁，避免網(wǎng)頁失效。
　　本文對Nutch爬蟲進行改進，將改進后的Nutch和Hadoop分布式平臺結(jié)合，設(shè)計高效、可靠的分布式爬蟲系統(tǒng)。主要研究成果如下：
　　1、Nutch和Hadoop分

2、布式平臺結(jié)合
　　Nutch單機運行時，受限于單臺機器存儲及運算性能，且易發(fā)生單點故障，穩(wěn)定性差。我們借助Hadoop分布式平臺的優(yōu)點，將Nutch運行的各個步驟提交給Hadoop，使用MapReduce分布式計算完成，并將數(shù)據(jù)存儲在HDFS上。我們分別對Nutch單機模式和Nutch分布式模式進行實驗，實驗結(jié)果表明：對比單機模式，分布式模式隨著集群中節(jié)點的增多，Nutch爬行的性能會線性增長；數(shù)據(jù)安全性提高，可靠性增強，節(jié)點間負(fù)

3、載均衡。
　　2、提出Proxy IP動態(tài)更換模塊
　　在詳細(xì)分析Nutch抓取網(wǎng)頁數(shù)據(jù)的工作流程后，發(fā)現(xiàn)當(dāng)一個網(wǎng)站有以IP為依據(jù)的訪問檢測機制時，Nutch大規(guī)模訪問很容易被禁止。針對這個問題，提出Proxy IP動態(tài)更換模塊，與Nutch系統(tǒng)結(jié)合，在Nutch爬行被禁止時，更換Proxy IP，使Nutch能繼續(xù)爬行。經(jīng)過測試，Nutch的爬蟲被禁止爬行得到有效解決。
　　3、網(wǎng)頁更新預(yù)測優(yōu)化
　　Nutch

4、有網(wǎng)頁更新模塊，但網(wǎng)頁更新的參數(shù)需要人為設(shè)定，且對所有網(wǎng)頁有效，很難適應(yīng)海量網(wǎng)頁的差異化。本文提出動態(tài)選擇策略來預(yù)測網(wǎng)頁更新周期。在網(wǎng)頁更新歷史數(shù)據(jù)不足時，通過基于MapReduce的DBSCAN聚類算法來減少爬蟲系統(tǒng)抓取網(wǎng)頁數(shù)量，將樣本網(wǎng)頁的更新周期作為所屬類其它網(wǎng)頁的更新周期；在網(wǎng)頁更新歷史數(shù)據(jù)較多時，通過對網(wǎng)頁更新歷史數(shù)據(jù)進行泊松過程建模較準(zhǔn)確地預(yù)測每個網(wǎng)頁的更新周期。實驗表明，動態(tài)選擇策略節(jié)約了爬蟲的抓取資源，且能較準(zhǔn)確預(yù)測網(wǎng)頁