基于Hadoop的分布式網(wǎng)絡(luò)爬蟲研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，Web上的網(wǎng)頁信息迅猛增長，面對互聯(lián)網(wǎng)上錯綜復(fù)雜、規(guī)模巨大的海量信息時，單機網(wǎng)絡(luò)爬蟲由于計算能力和存儲空間的局限性，使得抓取和處理海量數(shù)據(jù)變得十分困難。而由Apache基金會研發(fā)的Hadoop分布式計算平臺在處理和存儲海量數(shù)據(jù)有著高可用性、高伸縮性、高擴展性的特點，使Hadoop技術(shù)迅速成為了海量數(shù)據(jù)處理領(lǐng)域的熱門首選。將網(wǎng)絡(luò)爬蟲技術(shù)與Hadoop分布式計算平臺結(jié)合組成的分布式網(wǎng)絡(luò)爬蟲有效解決了海量網(wǎng)頁數(shù)據(jù)的抓取、

2、存儲和分析的問題。因此基于Hadoop的分布式網(wǎng)絡(luò)爬蟲具有十分重要的研究價值和意義。本文對網(wǎng)絡(luò)爬蟲中的兩個算法：鏈接分析算法和URL去重算法進行了研究與分析，并針對算法在Hadoop環(huán)境下的不足進行了改進優(yōu)化。
　　在網(wǎng)絡(luò)爬蟲抓取網(wǎng)頁后，需要對抓取下來的網(wǎng)頁進行重要性的分析，PageRank算法是Google用于標識網(wǎng)頁的重要性的一種方法，而在大數(shù)據(jù)環(huán)境下，基于Hadoop的PageRank算法中每個URL的出鏈接都會作為MapR

3、educe中間結(jié)果輸出，使得Map函數(shù)輸出文件很大，而這些結(jié)果文件需要通過網(wǎng)絡(luò)傳輸?shù)絉educe端，過多的時間消耗在網(wǎng)絡(luò)傳輸上，造成算法的計算效率低。針對這一問題，本文第四章對基于Hadoop的PageRank算法進行了改進，根據(jù)URL鏈接形成的Web圖的特點，對Web圖進行分割，劃分為URL子圖，將子圖內(nèi)與子圖之間PageRank的部分合并計算轉(zhuǎn)移到 Map階段，減少了Map函數(shù)輸出文件大小，從而降低了MapReduce的中間網(wǎng)絡(luò)傳輸

4、時間，提高了算法效率。
　　URL去重算法同樣也是網(wǎng)絡(luò)爬蟲中的一個重要算法，URL去重算法在爬蟲新抓取的URL加入待抓取隊列之前，過濾已經(jīng)抓取過的重復(fù)URL，使得網(wǎng)絡(luò)爬蟲的性能得到提高。本文重點研究了布隆過濾器去重算法，BloomFilter的占用的空間與元素本身無關(guān)，有較高的空間效率，插入和查詢操作的時間復(fù)雜度也較低，且過濾器中位數(shù)組也適合并行實現(xiàn)；但隨著元素的添加，過濾器的誤判率也隨之增加，將許多無重復(fù)的URL過濾，對爬蟲性能