基于Hadoop的視頻爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的迅猛發(fā)展,網(wǎng)絡(luò)使用人群日益擴大,數(shù)字媒體作品數(shù)量快速增長。面對網(wǎng)絡(luò)上如此海量的媒體作品,版權(quán)保護成為了一個亟待解決的問題。運用拷貝檢測技術(shù)實現(xiàn)內(nèi)容拷貝追蹤,是一種行之有效的數(shù)字內(nèi)容版權(quán)保護方案。而如何獲取海量媒體資源是拷貝追蹤技術(shù)中的一個難點。尤其是視頻媒體,數(shù)量大,更新快,內(nèi)容多,下載難。如今快速發(fā)展的云計算在海量數(shù)據(jù)處理方面呈現(xiàn)了極大的優(yōu)勢,鑒于此,本文利用Hadoop框架實現(xiàn)分布式視頻爬蟲系統(tǒng),為拷貝檢測系統(tǒng)收集待檢視頻

2、數(shù)據(jù)集。
　　本文重點研究了Hadoop框架的計算模型MapReduce,以及分布式文件系統(tǒng)HDFS,并分析了分布式爬蟲的關(guān)鍵技術(shù),討論了將Hadoop框架用于分布式爬蟲系統(tǒng)的優(yōu)勢。由此設(shè)計并實現(xiàn)了基于Hadoop的視頻爬蟲系統(tǒng)。利用Hadoop框架,實現(xiàn)了一個結(jié)點集中管理,多個子結(jié)點并行工作的系統(tǒng)架構(gòu),同時總結(jié)點與子結(jié)點的心跳檢測機制,有效解決了子結(jié)點動態(tài)退出的問題。運用MapReduce計算模型實現(xiàn)具體的網(wǎng)頁抓取、分析、去重,

3、下載等計算任務(wù),并利用廣度優(yōu)先搜索策略,以及基于磁盤的去重機制,保證了爬蟲系統(tǒng)的高效爬行。同時分析如何對URL集進行分區(qū),以保證各爬行結(jié)點負(fù)載均衡。HDFS分布式文件系統(tǒng)存儲各階段計算任務(wù)的結(jié)果,以備下個計算任務(wù)使用,并運用多處備份機制,使得在某個結(jié)點退出時轉(zhuǎn)移任務(wù)集,不影響整個系統(tǒng)的穩(wěn)定性和有效性。針對目前主流視頻網(wǎng)站的視頻下載難題,以騰訊等視頻網(wǎng)站為例進行詳細說明,給出了視頻下載的解決方案。
　　最后,通過配置多個爬行結(jié)點,對