面向迭代型作業(yè)的MapReduce任務(wù)調(diào)度策略研究.pdf

1、MapReduce是一個(gè)被廣泛采用的大數(shù)據(jù)分析計(jì)算框架，其基于分治的思想在一次性批處理的應(yīng)用中具有相當(dāng)大的靈活性和可擴(kuò)展性。但是，MapReduce并不直接支持被廣泛使用的迭代類型作業(yè)。對(duì)此，學(xué)術(shù)界從數(shù)據(jù)緩存和異步執(zhí)行迭代等角度對(duì)MapReduce框架作出了一系列的改進(jìn)。為了配合這些優(yōu)化措施，研究人員也設(shè)計(jì)了對(duì)應(yīng)的任務(wù)調(diào)度策略。但同時(shí)其動(dòng)態(tài)性不足也引入了任務(wù)負(fù)載不均衡的問題。
　　負(fù)載不均衡的根本原因在于無(wú)法事先得知任務(wù)和節(jié)點(diǎn)的特

2、點(diǎn)以及任務(wù)量的分布，而迭代作業(yè)局部性的特點(diǎn)可以在之前迭代執(zhí)行過(guò)程中獲得這些信息。結(jié)合已有研究成果，對(duì)迭代作業(yè)特點(diǎn)深入分析，在迭代之間建立了數(shù)據(jù)反饋機(jī)制。每次迭代處理過(guò)程相同，之前迭代節(jié)點(diǎn)的執(zhí)行速度可以衡量節(jié)點(diǎn)能力；迭代之間數(shù)據(jù)量分布具有相似性，可以在之前迭代中統(tǒng)計(jì)中間數(shù)據(jù)各個(gè) Key對(duì)應(yīng)的任務(wù)量大小。通過(guò)收集之前迭代執(zhí)行過(guò)程中的這些反饋信息，設(shè)計(jì)了一個(gè)基于反饋的任務(wù)調(diào)度器（FBS），不斷調(diào)整之后的迭代任務(wù)劃分，使得負(fù)載更均衡。
　

3、　Hadoop也存在著推測(cè)執(zhí)行機(jī)制效果不理想的問題。經(jīng)實(shí)驗(yàn)分析，其原因主要在于Hadoop不考慮任務(wù)和節(jié)點(diǎn)的特點(diǎn)，固定任務(wù)各階段占總進(jìn)度值比例，導(dǎo)致進(jìn)度值估計(jì)不精確，從而誤導(dǎo)后備任務(wù)的選擇。對(duì)于迭代類型作業(yè)，每次迭代處理過(guò)程相同，任務(wù)各階段占總進(jìn)度值比例也類似。通過(guò)在之前迭代執(zhí)行過(guò)程的反饋，收集數(shù)據(jù)并動(dòng)態(tài)調(diào)整任務(wù)各階段占總進(jìn)度值的比例，改進(jìn)了進(jìn)度值統(tǒng)計(jì)的方式。
　　實(shí)現(xiàn)了系統(tǒng)原型進(jìn)行了實(shí)驗(yàn)評(píng)估。實(shí)驗(yàn)結(jié)果證明，相比已有研究，F(xiàn)BS能