基于Hadoop的MapReduce計算模型優(yōu)化與應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，特別是近年來，突飛猛進的移動互聯(lián)網(wǎng)和電子商務(wù)的發(fā)展，網(wǎng)絡(luò)已經(jīng)進入了互聯(lián)網(wǎng)+時代。“互聯(lián)網(wǎng)+”時代具有如下特點：大規(guī)模數(shù)據(jù)集，多終端等。企業(yè)建立一套IT系統(tǒng)不僅需要購買硬件等基礎(chǔ)設(shè)施，還需要專人維護。當(dāng)企業(yè)的規(guī)模擴大時還要繼續(xù)升級各種軟硬件設(shè)施以滿足需要，傳統(tǒng)數(shù)據(jù)處理方法存在數(shù)據(jù)存儲成本過高、數(shù)據(jù)管理效率低、可靠性較低、并行處理程序編寫復(fù)雜等不足。尤其是對于中小企業(yè)，計算機等硬件和軟件本身并非所需，提高計算和存儲效率

2、才是其真正的期盼。
　　云計算通過整合服務(wù)器集群中的閑散資源，為大數(shù)據(jù)分布式存儲、并行計算等提供了一個有效解決方案。Hadoop以其開源、可伸縮與低成本等優(yōu)勢，已成為一種主流的云計算平臺。但是，在某些應(yīng)用場景，Hadoop也存在一定的缺陷。例如MapReduce的Mapper會產(chǎn)生大量中間結(jié)果，而這時的Reducer并沒有被調(diào)用來合并這些中間結(jié)果，增加了網(wǎng)絡(luò)傳輸大量中間結(jié)果的負(fù)擔(dān)以及造成 Reducer的閑置，總體上降低了MapR

3、educe的效率。
　　本文通過對MapReduce計算模型的工作原理、運行機制和容錯機制的研究，提出了一種MapReduce計算模型優(yōu)化方案。即在Yarn框架中，使用MPI技術(shù)實現(xiàn)Reducer與Mapper并行處理中間結(jié)果。通過實驗可知，本方法提升了MapReduce計算效率，降低了計算與存儲的耦合性。另外，通過應(yīng)用實例——重點污染物排放量測算系統(tǒng)，在不改變該系統(tǒng)的基礎(chǔ)上，利用Sqoop數(shù)據(jù)遷移技術(shù)，結(jié)合優(yōu)化后的MapRedu