云環(huán)境下作業(yè)調(diào)度算法研究.pdf

1、作為一個近年來興起的概念，云計算是數(shù)十年來虛擬化、分布式計算、效用計算技術研究以及網(wǎng)絡和軟件服務的發(fā)展的結晶。云計算加速了IT產(chǎn)業(yè)的變革，用戶按需得到服務，促進了面向服務架構的發(fā)展，減少了獲得服務的費用，降低了服務提供商的花銷，同時也為服務提供了極大的靈活性。MapReduce是云計算的常用編程模式，大規(guī)模的MapReduce集群常常用于處理PB級別的數(shù)據(jù)量，因此系統(tǒng)的執(zhí)行效率就尤為重要。云作業(yè)調(diào)度是云計算中的一個重要組成部分，它能夠將

2、用戶提交的作業(yè)與合適的資源進行映射，減少作業(yè)的執(zhí)行時間，增加系統(tǒng)的吞吐率，合理的作業(yè)調(diào)度能使得集群利用率得到大幅提高。
　　 本文具體分析了云計算的背景，在歸納了學術界對云計算作業(yè)調(diào)度的代表性研究成果后，針對傳統(tǒng)Min-Min算法在負載均衡以及作業(yè)平均完成時間上的不足，提出了一種Max-D調(diào)度算法，將任務分配到合適的空閑資源執(zhí)行，并結合MapReduce的特點對算法進行了改進，使得Max-D算法在作業(yè)差別較大的環(huán)境下也能保持較好

3、的性能。
　　 Hadoop作為開源的云平臺實現(xiàn)，被業(yè)界廣泛研究和應用。本文以Hadoop作為驗證平臺，研究了Hadoop中的作業(yè)調(diào)度的實現(xiàn)方法，剖析了Hadoop中兩種常用的調(diào)度算法:FIFO和公平調(diào)度。本文通過比較Max-D算法和傳統(tǒng)方法的性能，給出各算法在調(diào)度消耗、作業(yè)平均完成時間以及公平性三個方面的表現(xiàn)，總結出三種算法各自的適用場景，并提出一個新的基于負載監(jiān)控的混合調(diào)度策略，通過對集群內(nèi)負載的監(jiān)控，選擇合適的調(diào)度方法進行