MapReduce模型在Hadoop實現(xiàn)中計算資源利用率分析和多作業(yè)批調(diào)度優(yōu)化.pdf

1、近年來，隨著互聯(lián)網(wǎng)技術的飛速發(fā)展，物聯(lián)網(wǎng)、社交網(wǎng)絡、智能攜帶設備等新業(yè)務的迅速興起積累了海量規(guī)模的數(shù)據(jù)，這些大數(shù)據(jù)與云計算之間的關系越來越密切。如何處理這些規(guī)模巨大的數(shù)據(jù)是一個亟待解決的問題。目前MapReduce是比較流行的處理大數(shù)據(jù)的編程框架。Hadoop是實現(xiàn)MapReduce編程模型的Java開源版本，得到了工業(yè)界和學術界普遍關注。用戶在使用Hadoop處理大數(shù)據(jù)時，往往把關注的焦點放在加速數(shù)據(jù)的處理速度，然而對于集群系統(tǒng)本身來

2、說，更應該看重的是系統(tǒng)計算資源利用率。
　　本論文將權(quán)衡這兩個目標，在國內(nèi)外對MapReduce編程模型研究的基礎上，對MapReduce編程模型建立隊列分析模型，進行計算資源利用率分析，并提出了針對不同優(yōu)先級的動態(tài)多作業(yè)批調(diào)度改進算法，為更高效地處理大數(shù)據(jù)提供理論基礎和算法支持。
　　本論文的主要工作有兩個:
　　在MapReduce編程模型的Map階段和Reduce階段分別采用不同的排隊模型來建立分析模型，進行Ma

3、pReduce系統(tǒng)的性能分析?？梢缘玫饺绾瓮ㄟ^調(diào)節(jié)系統(tǒng)參數(shù)，如工作負載，來減少Reduce階段計算資源的粘槽現(xiàn)象，從而提升集群系統(tǒng)的利用率。通過仿真實驗，MapReduce分析模型的理論分析與仿真實驗結(jié)果相吻合，說明本論文所建立的隊列分析模型能較好地描述MapReduce系統(tǒng)特點。給出合適的系統(tǒng)參數(shù)，即集群系統(tǒng)工作負載，提升系統(tǒng)性能。
　　在Hadoop默認的FIFO調(diào)度策略的基礎上，創(chuàng)新性地提出了針對不同優(yōu)先級的動態(tài)多作業(yè)批調(diào)度