面向一種云計算平臺的任務(wù)調(diào)度技術(shù)研究.pdf

1、隨著云計算技術(shù)近幾年的迅速發(fā)展，Hadoop這種處理大規(guī)模密集型數(shù)據(jù)的云計算平臺受到國內(nèi)外大型IT公司、社交網(wǎng)絡(luò)、全球各大通信運營商等的廣泛關(guān)注及應(yīng)用。Hadoop系統(tǒng)可部署在廉價的普通服務(wù)器上，能高效并行處理大規(guī)模數(shù)據(jù)集。Hadoop平臺有可能由成千上萬個節(jié)點組成，在這些節(jié)點中采用什么樣的任務(wù)調(diào)度技術(shù)協(xié)同處理各個任務(wù)顯得尤為重要。一個好的任務(wù)調(diào)度策略不但能夠很大程度上提高任務(wù)響應(yīng)時間和系統(tǒng)吞吐率，也能提高整個集群資源的利用率。因此，任

2、務(wù)調(diào)度技術(shù)的研究對云計算平臺的發(fā)展具有重要意義。
　　 本文面向云計算平臺Hadoop的任務(wù)調(diào)度技術(shù)進行了如下研究：
　　 首先，研究Hadoop平臺的基本架構(gòu)，Hadoop主要由數(shù)據(jù)存儲結(jié)構(gòu)HDFS和任務(wù)并行處理模型MapReduce兩個部分組成。在其架構(gòu)的基礎(chǔ)上分析了Hadoop的數(shù)據(jù)存儲特性、任務(wù)處理流程以及數(shù)據(jù)流程。詳細闡述了Hadoop平臺的任務(wù)調(diào)度技術(shù)發(fā)展現(xiàn)狀，并分析了現(xiàn)有Hadoop平臺采用的任務(wù)調(diào)度算法的

3、特點和局限性。
　　 其次，根據(jù)Hadoop數(shù)據(jù)的存儲特性，提出了基于數(shù)據(jù)局部性對LATE算法的改進策略，在Hadoop平臺中分機架考慮任務(wù)推測執(zhí)行的調(diào)度問題，選擇備份任務(wù)推測執(zhí)行時，優(yōu)先選擇數(shù)據(jù)存儲在請求處理節(jié)點上的任務(wù)，以及節(jié)點所在機架上的任務(wù)推測執(zhí)行；如果沒有數(shù)據(jù)存儲在本節(jié)點或者本機架的任務(wù)需要推測執(zhí)行，再考慮在其它機架上查找需要推測執(zhí)行的任務(wù)。
　　 再次，利用統(tǒng)計學概率論解決任務(wù)等待時間過長影響工作響應(yīng)時間的情

4、況。根據(jù)稀有事件發(fā)生概率模型，綜合考慮數(shù)據(jù)局部性優(yōu)化問題和任務(wù)等待本節(jié)點或者本機架處理的時間過長反而影響任務(wù)響應(yīng)時間的問題。
　　 最后，在CloudSim仿真平臺上模擬Hadoop架構(gòu)，對不同的任務(wù)類型，設(shè)定不同的參數(shù)值進行仿真實驗，分析算法在提高任務(wù)本地化處理能力、減少工作響應(yīng)時間以及優(yōu)化系統(tǒng)吞吐率等方面較其他算法具有明顯優(yōu)勢，基于數(shù)據(jù)局部性的改進算法解決了Hadoop平臺任務(wù)調(diào)度技術(shù)有關(guān)數(shù)據(jù)局部性問題的性能瓶頸。