云計算中基于MapReduce集群模型的調(diào)度優(yōu)化與研究.pdf

1、隨著數(shù)據(jù)爆炸時代的到來，如何高效地對TB級甚至是PB的大規(guī)模數(shù)據(jù)進(jìn)行處理是業(yè)界迫切急需解決的問題。在應(yīng)用需求和技術(shù)推動下，云計算作為一種新的計算模式被提出來了，并逐步成為了IT界的主旋律。
　　MapReduce分布式計算框架作為云計算中處理大規(guī)模數(shù)據(jù)的利器而被各大企業(yè)廣泛應(yīng)用。然而在實際的商業(yè)運(yùn)用中，MapReduce仍然還有很多需要完善的地方，尤其是在調(diào)度機(jī)制如任務(wù)的分配不均衡，失敗任務(wù)的二次調(diào)度等方面，同時原有的調(diào)度處理方式

2、也不能很好的適應(yīng)異構(gòu)環(huán)境。本文將MapReduce在異構(gòu)環(huán)境下的調(diào)度機(jī)制作為主要的研究方向。
　　本文針對異構(gòu)環(huán)境的特點，重點總結(jié)和分析了MapReduce框架存在的調(diào)度性能問題和目前主流調(diào)度算法存在的不足，特別是在本地執(zhí)行、數(shù)據(jù)不均衡等方面。針對上述問題本文提出了一種在異構(gòu)環(huán)境下基于蟻群算法的多任務(wù)集群調(diào)度算法MSBACO，該算法能夠評估集群中節(jié)點的處理能力；同時提出一種新的目標(biāo)轉(zhuǎn)移函數(shù)，將任務(wù)快速的按照本地執(zhí)行原則分配到各個節(jié)

3、點上執(zhí)行，從而縮短了運(yùn)行時間，提高了集群性能。本文在 MSBACO算法基礎(chǔ)之上提出了預(yù)失敗任務(wù)判定算法DAPT，該算法在任務(wù)執(zhí)行過程中通過對預(yù)失敗任務(wù)進(jìn)行感知預(yù)判，從而將即將失敗的任務(wù)快速轉(zhuǎn)移給其他節(jié)點執(zhí)行，減輕了主節(jié)點的負(fù)載和網(wǎng)絡(luò)開銷?；谏鲜鰞煞N算法，本文提出了異構(gòu)環(huán)境下集群調(diào)度模型改進(jìn)方案HNE-IMCSS。最后，通過程序編寫和集群平臺搭建，將作業(yè)執(zhí)行時間、負(fù)載度作為評估指標(biāo)與主流算法進(jìn)行對比，驗證了改進(jìn)算法和調(diào)度模型在異構(gòu)環(huán)境中