基于Hadoop作業(yè)內(nèi)計算任務(wù)調(diào)度優(yōu)化的研究.pdf

1、隨著信息科學(xué)技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)與社會各個方面的結(jié)合越來越緊密?；ヂ?lián)網(wǎng)所產(chǎn)生的信息數(shù)據(jù)也以指數(shù)級的速度飛速增長。面對海量的信息數(shù)據(jù)，傳統(tǒng)的計算模式已經(jīng)顯得力不從心。云計算作為傳統(tǒng)計算模式與網(wǎng)絡(luò)技術(shù)融合的產(chǎn)物，能夠?qū)⒂嬎惴植荚诖罅康臋C器上，從而高效的對海量數(shù)據(jù)進行處理。Hadoop作為一個能夠高效的處理大規(guī)模數(shù)據(jù)集的分布式計算框架，現(xiàn)已被越來越多的機構(gòu)作為基礎(chǔ)計算框架來構(gòu)建云計算平臺。如何提升其執(zhí)行效率是業(yè)界的一個熱門研究方向，調(diào)度問題

2、作為影響Hadoop執(zhí)行效率的一個關(guān)鍵因素，發(fā)現(xiàn)其不足之處并加以改進是非常具有意義的。
　　通過對現(xiàn)有的改進后的Hadoop調(diào)度算法進行調(diào)研可以發(fā)現(xiàn)，大多數(shù)優(yōu)化算法集中在如何對多個作業(yè)進行合理調(diào)度也即作業(yè)間的調(diào)度研究，而對作業(yè)內(nèi)部的計算任務(wù)調(diào)度研究甚少。此外，對異構(gòu)集群節(jié)點間的計算能力差異性也沒有充分考慮，或只是根據(jù)機器配置來設(shè)置一個理論值，與現(xiàn)實存在脫節(jié)。本文主要針對Hadoop作業(yè)內(nèi)的計算任務(wù)調(diào)度問題進行研究，主要工作包括：<

3、br>　　一、對課題的背景知識以及調(diào)度過程中涉及到的Hadoop組件進行了介紹。分析了Hadoop默認使用的任務(wù)調(diào)度算法所存在的不足以及任務(wù)調(diào)度過程中有關(guān)的類及方法的作用。在借鑒了現(xiàn)階段一些改進后調(diào)度算法的主要思想、設(shè)計思路、優(yōu)點以及不足的基礎(chǔ)上，提出了基于 Hdoop作業(yè)內(nèi)的數(shù)據(jù)本地化任務(wù)調(diào)度算法。該算法能夠根據(jù)節(jié)點的真實計算性能以及當前節(jié)點所存儲的還未被處理的數(shù)據(jù)塊數(shù)目來計算出該節(jié)點的數(shù)據(jù)本地化飽和程度并依此進行計算任務(wù)調(diào)度。在傳統(tǒng)

4、的任務(wù)調(diào)度過程中，節(jié)點所存儲的數(shù)據(jù)塊沒有做區(qū)分，每次調(diào)度時都是隨機選取數(shù)據(jù)塊。本文引入了數(shù)據(jù)塊標記值這個概念，在調(diào)度過程中對每個數(shù)據(jù)塊進行標記，并按標記值大小進行調(diào)度。本文提出的算法可以提高作業(yè)內(nèi)計算任務(wù)調(diào)度效率，能夠結(jié)合其它多作業(yè)調(diào)度算法進一步提高Hadoop平臺執(zhí)行效率，并且在異構(gòu)集群下也能很好工作。
　　二、搭建了一個異構(gòu)的Hadoop集群作為實驗環(huán)境，對上述優(yōu)化后的任務(wù)調(diào)度算法以及默認的任務(wù)調(diào)度算法進行了實驗驗證，并對實驗