Hadoop平臺(tái)下的作業(yè)調(diào)度算法研究及應(yīng)用.pdf

1、隨著信息進(jìn)程的深入和數(shù)字設(shè)備市場(chǎng)的繁榮，全球產(chǎn)生的數(shù)據(jù)量快速增長(zhǎng)，云計(jì)算已經(jīng)成為新興技術(shù)領(lǐng)域和服務(wù)領(lǐng)域重要的計(jì)算模式。Apache Hadoop作為云計(jì)算的開(kāi)源平臺(tái)提供了強(qiáng)大的數(shù)據(jù)處理工具，得到了企業(yè)廣泛的應(yīng)用和支持。Hadoop平臺(tái)下的作業(yè)調(diào)度算法負(fù)責(zé)支配計(jì)算集群的資源和決定作業(yè)的執(zhí)行次序，采用合適的調(diào)度算法可以有效地減少作業(yè)響應(yīng)時(shí)間，提高整個(gè)集群的計(jì)算效率。因此研究和優(yōu)化作業(yè)調(diào)度算法對(duì)提高Hadoop平臺(tái)的整體性能意義重大。

2、　　本文在研究和分析Hadoop平臺(tái)現(xiàn)有作業(yè)調(diào)度算法的基礎(chǔ)上，針對(duì)LATE調(diào)度算法在執(zhí)行任務(wù)備份時(shí)沒(méi)有考慮重新調(diào)度備份任務(wù)的代價(jià)問(wèn)題以及對(duì)任務(wù)剩余時(shí)間推測(cè)的靜態(tài)局限性，提出了基于重調(diào)度代價(jià)的LATE算法。新算法的改進(jìn)主要包括兩方面:(1)依據(jù)任務(wù)的重調(diào)度代價(jià)決定是否執(zhí)行任務(wù)備份機(jī)制，通過(guò)推測(cè)任務(wù)的重調(diào)度代價(jià)判斷為落后任務(wù)執(zhí)行備份機(jī)制是否有意義，確保執(zhí)行任務(wù)備份可以提高作業(yè)的運(yùn)行進(jìn)度;(2)基于節(jié)點(diǎn)執(zhí)行任務(wù)的歷史信息改變計(jì)算任務(wù)剩余時(shí)間的