云計算環(huán)境下調(diào)度算法的分析與優(yōu)化.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，以及網(wǎng)絡(luò)應(yīng)用范圍的不斷擴大，數(shù)據(jù)已經(jīng)成為了企業(yè)的發(fā)展核心。很多大型IT企業(yè)都建立了自己的大數(shù)據(jù)中心，同時企業(yè)的發(fā)展也愈來愈依賴于數(shù)據(jù)，這一事實表明大數(shù)據(jù)時代已經(jīng)到來！而Hadoop等云計算平臺正是隨著大數(shù)據(jù)時代的到來而出現(xiàn)的。在一個云計算平臺中，資源和作業(yè)調(diào)度策略是其核心，它對于整個系統(tǒng)計算資源的分配及作業(yè)的執(zhí)行都起著至關(guān)重要的作用。因此，云計算環(huán)境下調(diào)度算法的研究有著重要意義。
　　由于云計算平臺的調(diào)度

2、問題已經(jīng)由作業(yè)調(diào)度逐漸轉(zhuǎn)向資源調(diào)度，所以本文兼顧了Hadoop平臺下作業(yè)調(diào)度和資源調(diào)度問題，重點介紹了基于Hadoop平臺下現(xiàn)有的幾種作業(yè)調(diào)度算法和資源調(diào)度算法，包括先進先出（FIFO）調(diào)度算法、基于負載均衡的調(diào)度算法、基于資源感知的調(diào)度算法和主資源公平（DRF）調(diào)度算法，分析了這些調(diào)度算法的主要思想和優(yōu)缺點。針對Hadoop平臺作業(yè)調(diào)度問題，根據(jù)作業(yè)的負載類型，對基于負載均衡和資源感知的調(diào)度算法作出了改進，提出了一種基于工作負載感知（

3、WLWare）的調(diào)度算法。該算法根據(jù)集群的節(jié)點信息，將作業(yè)進行了分類，通過作業(yè)負載類型和節(jié)點負載狀況，算法將作業(yè)與節(jié)點進行匹配，提高了系統(tǒng)的資源利用率。同時在Hadoop平臺資源調(diào)度問題上，針對Hadoop2.0中主資源公平（DRF）調(diào)度算法未考慮資源請求的不可分割性和資源的動態(tài)使用情況這一問題，基于主資源公平（DRF）調(diào)度算法提出了一種基于資源需求的動態(tài)多資源調(diào)度算法（DEDRF），該算法通過對主資源公平（DRF）算法引入新的資源分配