基于MLFQ的Hadoop作業(yè)調(diào)度算法研究與優(yōu)化.pdf

1、“云計算”被Google、Amazon的公司提出之后，得到了工業(yè)界、學(xué)術(shù)界的廣泛關(guān)注。近年來，云計算技術(shù)在工業(yè)界、學(xué)術(shù)界聯(lián)合推動下獲得了巨大的發(fā)展，大量的云計算系統(tǒng)被投入使用，其中有很大一部分基于Hadoop平臺。Hadoop平臺是一個開放源代碼云計算框架，最大的優(yōu)勢是實現(xiàn)了并行化對開發(fā)者的透明性，使開發(fā)者開發(fā)云計算應(yīng)用系統(tǒng)時不必關(guān)心并行性細節(jié)，這些細節(jié)則由Hadoop框架在底層完成。作業(yè)調(diào)度是Hadoop平臺的核心之一，其主要功能是控

2、制集群中作業(yè)的執(zhí)行順序以及分配計算資源，這直接關(guān)系到Hadoop平臺的整體性能和系統(tǒng)資源的利用率。論文基于Hadoop1.2.1平臺，首先對Hadoop作業(yè)調(diào)度機制進行了詳細的研究，在此基礎(chǔ)上提出了一種新的Hadoop作業(yè)調(diào)度算法。論文的主要貢獻如下：
　　1.提出了一種基于多級反饋隊列(Multi-level Feedback Queue簡稱MLFQ)的作業(yè)調(diào)度算法。該算法最先應(yīng)用在操作系統(tǒng)中對進程進行調(diào)度并取得了很好的效果，論

3、文將算法改造后應(yīng)用到Hadoop的作業(yè)調(diào)度中，解決了集群中小作業(yè)公平性的問題，并有效提升了平臺的整體性能。
　　2.為了解決嚴格遵循MLFQ算法思想遇到的兩個問題作業(yè)本地性差、Reduce槽囤積，論文提出了MLFQ算法的兩種優(yōu)化方案Map任務(wù)延遲調(diào)度算法、Reduce任務(wù)延遲調(diào)度算法分別解決這兩個問題。
　　3.搭建了Hadoop平臺，對基于MLFQ的Hadoop作業(yè)調(diào)度算法及兩種改進算法進行了多組實驗，并對所得實驗數(shù)據(jù)進行