基于Hadoop平臺的動態(tài)自適應作業(yè)調度算法研究.pdf

1、一種基于互聯(lián)網(wǎng)技術產(chǎn)生、發(fā)展的新式計算模式——云計算正在不斷改變人們的傳統(tǒng)網(wǎng)絡計算的理解。云計算這一技術很好地解決了對海量數(shù)據(jù)處理的需求，其可以認為是未來新一代信息技術變革的核心，是IT產(chǎn)業(yè)的第三次大變革。
　　本文選取具有諸多優(yōu)勢的開源Hadoop云計算平臺作為研究對象。目前對于Hadoop平臺的一個研究熱點就是作業(yè)調度和資源分配問題，這兩個問題關系到Hadoop平臺的整體性能和資源利用率的提升。
　　本文在研究Hadoo

2、p平臺原有的作業(yè)調度算法和深入理解蟻群算法原理的基礎上，為提高平臺整體的執(zhí)行效率和資源利用率，對算法在資源調度、參數(shù)配置和任務分配方面進行改進。提出一種基于Hadoop平臺的動態(tài)自適應作業(yè)調度算法。通過算法執(zhí)行過程中實時監(jiān)控各個資源節(jié)點計算能力的變化，并通過反饋機制將這些信息傳遞給控制節(jié)點，后者通過改進相關參數(shù)對算法做出動態(tài)調整，實現(xiàn)每個任務分配最優(yōu)執(zhí)行資源節(jié)點的目的。
　　最后，搭建Hadoop實驗平臺，對本文提出的基于Hado