提高任務并行度以優(yōu)化MapReduce集群資源的利用.pdf

1、作為一種編程模型，MapReduce已經成為處理大規(guī)模數(shù)據(jù)處理問題的一個重要手段。目前，MapReduce已被廣泛地應用于Web搜索，機器學習，電子商務等領域。Hadoop,作為MapReduce的一種開源實現(xiàn)，已經被廣泛地用到離線大數(shù)據(jù)處理。目前因為對處理海量數(shù)據(jù)的要求持續(xù)增長，Hadoop集群的規(guī)模也變的越來越大。為了管理大規(guī)模集群，人們試圖去提高集群的效率水平，用更強大的計算節(jié)點和水平擴展去構建的集群。這時高效地利用集群資源將變得

2、更有挑戰(zhàn)性。在研究Hadoop的過程中，發(fā)現(xiàn)在Hadoop的數(shù)據(jù)處理的并行粒度是比較大的，同時它不能充分利用多核系統(tǒng)的優(yōu)勢。這些問題會降低整個集群資源利用率和集群效率。為此，本文提出一種更加細粒度的數(shù)據(jù)處理策略，在增加系統(tǒng)負擔的情況下，對HDFS的數(shù)據(jù)塊進一步地進行分片，同時，在MapReduce的任務下產生多線程，充分利用多核系統(tǒng)，進一步地進行以提高任務執(zhí)行的并行度，從而優(yōu)化集群資源利用率和提升作業(yè)執(zhí)行的速度。我們把這個策略作為一個功