異構(gòu)分布式環(huán)境下基于MapReduce模型的任務(wù)調(diào)度算法研究.pdf

1、隨著計算機和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，大規(guī)模數(shù)據(jù)處理的應(yīng)用需求日益地增加，傳統(tǒng)系統(tǒng)難以提供足夠的存儲和計算資源進行處理，云計算技術(shù)成為最理想的解決方案。MapReduce是云計算中處理大規(guī)模數(shù)據(jù)的一種重要的編程模型，它簡化了傳統(tǒng)分布式程序的開發(fā)并提供一種簡單的并行程序設(shè)計方法。Hadoop是MapReduce的開源實現(xiàn)，它是眾多互聯(lián)網(wǎng)企業(yè)和研究機構(gòu)進行大規(guī)模數(shù)據(jù)處理的分布式平臺。雖然Hadoop已得到廣泛地應(yīng)用，但是其在異構(gòu)分布式環(huán)境下存在

2、嚴重的性能問題。因此本文以異構(gòu)環(huán)境下Hadoop性能問題為研究目標，在對MapReduce任務(wù)分配和調(diào)度的相關(guān)問題進行分析和研究的基礎(chǔ)上，提出了適合異構(gòu)環(huán)境下的任務(wù)調(diào)度算法，具體的工作及創(chuàng)新如下:
　　 (1)針對異構(gòu)環(huán)境下出現(xiàn)慢速任務(wù)和慢速節(jié)點導(dǎo)致系統(tǒng)性能低下的問題，本文在分析原有MapReduce調(diào)度算法不足的基礎(chǔ)上，提出一種基于自適應(yīng)策略的任務(wù)調(diào)度算法。該算法能夠正確地計算任務(wù)執(zhí)行進度和自動適應(yīng)復(fù)雜變化的環(huán)境。首先通過引入

3、任務(wù)執(zhí)行歷史信息和K-means聚類算法對不同類型的Map任務(wù)和Reduce任務(wù)各子階段執(zhí)行所占的進度比例進行自動地設(shè)定，并利用正確的進度比例計算任務(wù)執(zhí)行進度。然后基于任務(wù)執(zhí)行的進度來估計任務(wù)剩余完成時間，并判定有最大剩余完成時間的任務(wù)為落后任務(wù)。其次通過比較任務(wù)進度速率和平均進度速率來判定落后節(jié)點，同時在快速節(jié)點上為落后任務(wù)啟動備份任務(wù)。最后實驗評估表明與Hadoop默認調(diào)度器和LATE算法相比，本文提出的算法提高了對落后任務(wù)和落后節(jié)

4、點判定的正確性，同時縮短了異構(gòu)環(huán)境下MapReduce作業(yè)的平均運行時間。
　　 (2)針對在異構(gòu)環(huán)境下采用現(xiàn)有MapReduce任務(wù)調(diào)度機制可能出現(xiàn)各計算節(jié)點間數(shù)據(jù)遷移和系統(tǒng)資源分配難以管理的問題，本文提出一種基于資源預(yù)測的動態(tài)任務(wù)調(diào)度算法。首先根據(jù)異構(gòu)集群中數(shù)據(jù)分布存儲的特點，提出根據(jù)各節(jié)點的計算能力按比例放置數(shù)據(jù)的方法。在數(shù)據(jù)合理分布的情況下，通過異構(gòu)環(huán)境下的資源預(yù)測方法估計MapReduce任務(wù)的完成時間，并根據(jù)任務(wù)完成