基于MapReduce的LATE調(diào)度器算法的改進(jìn)研究.pdf

1、隨著信息時代的快速發(fā)展，數(shù)據(jù)具有了海量、異構(gòu)、多樣、動態(tài)變化等特性。人們迫切需要強(qiáng)有力的數(shù)據(jù)分析工具從繁雜的海量數(shù)據(jù)中找到有用知識，發(fā)現(xiàn)其中存在的關(guān)系和規(guī)則，幫助人們進(jìn)行決策、研究、判定，從而帶來巨大的信息價值。
　　Map-Reduce編程模型由Google提出，是當(dāng)前應(yīng)用較為廣泛的分布式計算框架。它將業(yè)務(wù)邏輯從復(fù)雜的底層實現(xiàn)細(xì)節(jié)中分離出來，該模型主要是面向海量數(shù)據(jù)的處理，與傳統(tǒng)的并行計算模型相比，它對任務(wù)調(diào)度、數(shù)據(jù)分塊、容錯性

2、等問題進(jìn)行了封裝，極大地簡化了程序的設(shè)計。
　　Map-Reduce Job的調(diào)度機(jī)制一直是學(xué)術(shù)研究的熱點，而LATE調(diào)度器算法從某種程度上解決了現(xiàn)有調(diào)度器的一些問題。本文在分析LATE調(diào)度算法的基礎(chǔ)上，結(jié)合工作集群的工作負(fù)載波動性和工作數(shù)據(jù)局部性等特殊性，對LATE調(diào)度算法進(jìn)行了一些改進(jìn)。之后，對算法進(jìn)行了實驗及性能分析，驗證了算法在提高資源利用率，動態(tài)調(diào)整資源分配，提高了作業(yè)的效率有很大改進(jìn)。
　　本課題考慮了節(jié)點性能波