基于MapReduce框架的發(fā)布式網(wǎng)絡(luò)爬行器研究.pdf

1、隨著Internet的快速發(fā)展,網(wǎng)絡(luò)已經(jīng)普及到社會的每一個角落。人們的日常行為和生活,越來越依賴于網(wǎng)絡(luò)提供的信息。搜索引擎正是為大眾提供便捷的搜索服務(wù),成為提供網(wǎng)絡(luò)信息資源的最佳工具。而搜索引擎的核心組成之一網(wǎng)絡(luò)爬行器,能夠下載海量的互聯(lián)網(wǎng)頁,并交給搜索引擎進(jìn)行處理,以便于將信息提供給用戶。因此,網(wǎng)絡(luò)爬行器的研究成為科學(xué)界研究的重點。傳統(tǒng)的分布式系統(tǒng)框架存在很多的問題,所以MapReduce這一新的分布式框架便應(yīng)運而生,逐漸開始得到了人

2、們的重視。本論文正是基于MapReduce框架,設(shè)計了一款全新的分布式網(wǎng)絡(luò)爬行器。
　　 針對分布式網(wǎng)絡(luò)爬行器技術(shù)的研究,本文在國內(nèi)外相關(guān)研究的基礎(chǔ)上,重點研究了以下兩個關(guān)鍵技術(shù)與實現(xiàn):首先,現(xiàn)有的分布式網(wǎng)絡(luò)爬行器技術(shù),一般在鏈接調(diào)度方面有很大的問題,不能夠滿足任務(wù)分配的一致性。本文研究了基于動態(tài)哈希樹的鏈接調(diào)度算法,從根本上解決了任務(wù)分配的一致性問題,并通過實驗證明了任務(wù)分配的有效性,證明新的鏈接調(diào)度算法,能夠更好的服務(wù)于搜索

3、引擎系統(tǒng)。其次,在分布式系統(tǒng)中,需要有海量的被調(diào)度的鏈接信息進(jìn)行存儲操作。而現(xiàn)有分布式網(wǎng)絡(luò)爬行器系統(tǒng)中,一般采用多級緩存模式,需要設(shè)計精巧的數(shù)據(jù)結(jié)構(gòu)來進(jìn)行存儲操作。本文提出了一種基于改進(jìn)Trie樹和文件池的二級緩存模式,增加了異步歸并和批處理工作模式,在節(jié)省了內(nèi)存使用空間的同時,提高了調(diào)度信息處理的速度與效率。
　　 最后,本文實現(xiàn)了一個基于MapReduce模型下的分布式網(wǎng)絡(luò)爬行器系統(tǒng)。理論和實踐均證明,應(yīng)用本文研究的關(guān)鍵技術(shù)