基于Mapreduce的恢復(fù)機制和任務(wù)調(diào)度算法的改進.pdf

1、隨著計算機技術(shù)和軟件技術(shù)的發(fā)展，云計算作為新的計算模型在短短的幾年間產(chǎn)生了巨大的影響力。Hadoop是一個支持開發(fā)和并行處理大規(guī)模數(shù)據(jù)的分布式云計算平臺，采用的是master/slave框架。在云計算集群中，master節(jié)點有時會發(fā)生異常而產(chǎn)生中斷，如何對master節(jié)點進行恢復(fù)是業(yè)界所關(guān)注的一個熱點問題。另外，按照MapReduce工作機制，系統(tǒng)將一個任務(wù)分割成若干個子任務(wù)，并分配到不同的物理節(jié)點進行處理。如何對這些子任務(wù)進行調(diào)度也受

2、到了IT領(lǐng)域研究工作者的重視。本文在Hadoop的框架以及mapreduce運行模型的環(huán)境下，依托智能計算的相關(guān)理論，分別對MapReduce恢復(fù)機制和工作調(diào)度問題進行研究。具體內(nèi)容如下:
　　 對已有的MapReduce的歷史恢復(fù)機制、同步機制和丟棄機制中阻塞問題產(chǎn)生的過程和原因進行了詳細(xì)的分析和總結(jié)，在此基礎(chǔ)上，綜合考慮存儲空間利用率和并行平臺的運行效率，提出了一種新的機制。這種機制結(jié)合了歷史恢復(fù)機制、同步機制和丟棄機制的特

3、點，運用備份進行恢復(fù)，通過不攜帶信息的心跳獲得正在工作節(jié)點的列表，最后對沒有發(fā)送心跳的工作節(jié)點進行關(guān)閉。實驗結(jié)果表明，這種新的機制提高了Hadoop的性能和效率，減少了系統(tǒng)的恢復(fù)時間，降低了系統(tǒng)恢復(fù)產(chǎn)生異常的次數(shù)。
　　 在對Mapreduce模型進行分析研究的基礎(chǔ)上，提出了基于雙適應(yīng)度的遺傳算法來解決Mapreduce的任務(wù)調(diào)度問題，該算法在執(zhí)行過程中不僅考慮了總?cè)蝿?wù)的完成時間，而且考慮到了完成時間方差這個重要的因素。實驗證明