Hadoop集群環(huán)境下調(diào)度算法的研究與改進(jìn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展，應(yīng)用的不斷深入，云計(jì)算被提出，并成為當(dāng)今計(jì)算機(jī)領(lǐng)域最熱的研究領(lǐng)域之一。Hadoop是一種云計(jì)算框架，適用于大規(guī)模數(shù)據(jù)集計(jì)算。在Hadoop中，用戶提交的作業(yè)被分割為若干個(gè)相互獨(dú)立的任務(wù)，然后由調(diào)度器調(diào)度至計(jì)算節(jié)點(diǎn)上并行執(zhí)行。
　　調(diào)度問(wèn)題一直是并行計(jì)算領(lǐng)域中最重要的問(wèn)題之一，Hadoop應(yīng)用環(huán)境日漸復(fù)雜，傳統(tǒng)的調(diào)度算法也受到挑戰(zhàn)。公平調(diào)度算法由于解決了多用戶環(huán)境下共享集群資源的問(wèn)題，目前被Hadoop所采用。

2、然而，在基于Hadoop框架的云計(jì)算中，當(dāng)計(jì)算資源和數(shù)據(jù)資源在不同的物理位置時(shí)將產(chǎn)生數(shù)據(jù)遷移問(wèn)題，增加網(wǎng)絡(luò)I/O，產(chǎn)生所謂的“數(shù)據(jù)化本地化”問(wèn)題。為解決該問(wèn)題，研究者提出了延遲調(diào)度算法，允許就緒任務(wù)等待一段時(shí)間，直到集群中某一具有該任務(wù)所需要數(shù)據(jù)資源的節(jié)點(diǎn)向調(diào)度器索取任務(wù)，才將任務(wù)調(diào)度到該節(jié)點(diǎn)執(zhí)行。
　　本文深入研究了延遲調(diào)度算法，在分析延遲調(diào)度算法不足之處的基礎(chǔ)上，針對(duì)其中存在的問(wèn)題，提出兩個(gè)改進(jìn)方案，并以實(shí)驗(yàn)驗(yàn)證了所改進(jìn)的算法

3、。具體工作如下：
　　1）研究如何合理設(shè)置延遲時(shí)間間隔。在實(shí)際應(yīng)用中，延遲時(shí)間間隔往往是一個(gè)經(jīng)驗(yàn)值，設(shè)置過(guò)長(zhǎng)或過(guò)短都可能影響系統(tǒng)性能與作業(yè)執(zhí)行效率。本文在分析了作業(yè)待處理數(shù)據(jù)在文件系統(tǒng)中的分布情況如何影響作業(yè)本地化調(diào)度的基礎(chǔ)上，引入?yún)?shù)用戶期望本地化概率，推導(dǎo)出等待時(shí)間的計(jì)算公式。該公式區(qū)分不同的作業(yè)，設(shè)置不同的等待時(shí)間。據(jù)此，用戶可以根據(jù)期望本地化概率這一參數(shù)來(lái)調(diào)控作業(yè)預(yù)期的本地化程度。對(duì)上述方法，進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明：通

4、過(guò)公式計(jì)算出的延遲時(shí)間能夠使得作業(yè)達(dá)到用戶預(yù)期的本地化水平。
　　2）研究如何合理設(shè)置目標(biāo)計(jì)算節(jié)點(diǎn)。延遲調(diào)度算法以本地化調(diào)度為目標(biāo)，則數(shù)據(jù)的位置決定了任務(wù)的目標(biāo)計(jì)算節(jié)點(diǎn)；如果某作業(yè)的待處理數(shù)據(jù)集中在某個(gè)節(jié)點(diǎn)上，將出現(xiàn)多個(gè)任務(wù)在同一節(jié)點(diǎn)上運(yùn)行，導(dǎo)致作業(yè)并行化程度很差。本文在保留延遲調(diào)度的基礎(chǔ)上，提出延遲-容量調(diào)度算法，允許部分任務(wù)選擇非本地化節(jié)點(diǎn)作為原延遲調(diào)度算法中任務(wù)的目標(biāo)計(jì)算節(jié)點(diǎn)，提高作業(yè)的響應(yīng)時(shí)間與增加作業(yè)的并行程度。對(duì)此算法

5、，本文修改Hadoop源代碼重新編譯，并搭建測(cè)試環(huán)境進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)對(duì)比分析結(jié)果表明：改進(jìn)后的算法在執(zhí)行效率和并行效果優(yōu)于原延遲調(diào)度算法。
　　3）在電網(wǎng)監(jiān)控系統(tǒng)中，應(yīng)用上述調(diào)度算法進(jìn)行公式并行計(jì)算。首先分析電網(wǎng)監(jiān)控系統(tǒng)中公式計(jì)算的特點(diǎn)，然后闡述如何采用MapReduce編程模型實(shí)現(xiàn)公式計(jì)算的并行處理，以及如何在其過(guò)程中運(yùn)用論文所提出的兩種調(diào)度算法進(jìn)行任務(wù)調(diào)度。最后，對(duì)Hadoop集群環(huán)境和傳統(tǒng)的集群環(huán)境電網(wǎng)監(jiān)控系統(tǒng)公式計(jì)算結(jié)果進(jìn)