MapReduce作業(yè)調(diào)度算法研究.pdf

1、分布式計(jì)算作為一種高性能、海量存儲和高可靠性的計(jì)算方式,是解決當(dāng)前大規(guī)模數(shù)據(jù)集處理問題的主要手段之一。MapReduce并行分布式編程模型通過封裝實(shí)現(xiàn)了底層細(xì)節(jié)的隱藏,大大降低了分布式計(jì)算中并行程序的編寫難度,有效推進(jìn)了分布式計(jì)算在大規(guī)模數(shù)據(jù)集處理方面的發(fā)展和應(yīng)用。
　　雖然現(xiàn)有調(diào)度算法有效提升了MapReduce的并行計(jì)算性能,但它們都是根據(jù)作業(yè)調(diào)度過程中影響任務(wù)分配優(yōu)劣的某一方面因素進(jìn)行的改進(jìn),存在任務(wù)分配標(biāo)準(zhǔn)單一和多作業(yè)環(huán)境

2、下對影響作業(yè)調(diào)度的因素考慮不全面的問題,這就降低了分布式計(jì)算系統(tǒng)的有效資源使用率和系統(tǒng)的吞吐率。本文在對MapReduce作業(yè)調(diào)度進(jìn)行形式化分析的基礎(chǔ)上,針對這兩個問題進(jìn)行了分析研究,提出了多作業(yè)環(huán)境下基于饑餓度的MapReduce作業(yè)調(diào)度算法。使用饑餓度表示多作業(yè)環(huán)境下作業(yè)中的任務(wù)與任務(wù)服務(wù)器之間的匹配程度,通過對任務(wù)在不同任務(wù)服務(wù)上的執(zhí)行成本的綜合比較實(shí)現(xiàn)任務(wù)的快速分配,從而達(dá)到最大化系統(tǒng)吞吐率和最小化單個作業(yè)完成時間的目的。

3、>　　為了驗(yàn)證所提算法的可行性與有效性,本文利用基于MicrosoftVisualC++6.0設(shè)計(jì)和開發(fā)的一個軟件對MapReduce模型中作業(yè)的調(diào)度過程進(jìn)行了仿真模擬,并以此為基礎(chǔ)分別對算法中的任務(wù)分配模式和多作業(yè)環(huán)境下的作業(yè)調(diào)度方法設(shè)計(jì)了仿真實(shí)驗(yàn)。通過對實(shí)驗(yàn)數(shù)據(jù)的分析可以證明,在多作業(yè)環(huán)境下,相比常用的MapReduce調(diào)度算法,基于饑餓度的調(diào)度算法在降低任務(wù)的執(zhí)行成本、縮短作業(yè)完成時間和提高系統(tǒng)吞吐率方面有著明顯的優(yōu)勢,達(dá)到了算法