云計算環(huán)境中多MapReduce作業(yè)動態(tài)資源分配方法的研究.pdf

1、隨著云計算技術的普及和流行，Hadoop系統(tǒng)成為更多用戶處理大批量數據的選擇。在Hadoop系統(tǒng)中，資源管理問題一直是該領域的研究熱點問題之一。有效的資源管理，通過對資源的合理分配，不僅能夠有效縮短系統(tǒng)的平均響應時間，提高用戶的滿意度，更能保證和改善系統(tǒng)的執(zhí)行能力和交互能力，而且還能提高資源的利用率。
　　本文在深入研究Hadoop系統(tǒng)的資源調度算法的基礎上，針對目前Hadoop系統(tǒng)在資源調度方面存在的使用靜態(tài)地配置Slot資源而

2、難以有效適應MapReduce作業(yè)個性化資源需求的問題，提出了一個多MapReduce作業(yè)動態(tài)資源分配方法，該方法將多MapReduce作業(yè)初始資源分配和動態(tài)重分配相結合，能夠動態(tài)地配置分配給各個作業(yè)的資源，從而保證作業(yè)的完成時間目標，提高系統(tǒng)的資源利用率。首先，針對資源初始分配，建立作業(yè)的完成時間預測的數學模型，根據作業(yè)的完成時間目標和作業(yè)的初始化信息估計作業(yè)的資源需求，提出了作業(yè)對所得資源的用戶滿意度的概念，并以用戶滿意度公平，和系

3、統(tǒng)的資源利用率最大化為目標，建立了初始的資源分配模型，并給出了求解資源分配模型的啟發(fā)式算法，為作業(yè)進行資源初始分配。其次，針對資源動態(tài)重分配，周期性動態(tài)地捕捉作業(yè)在執(zhí)行過程中的任務剩余執(zhí)行時間的變化，改進作業(yè)的完成時間預測模型，預測作業(yè)對于資源的需求變化，并感知是否有用戶向系統(tǒng)提交新作業(yè)，提出了作業(yè)資源需求變化事件的概念，并基于作業(yè)資源需求變化事件的發(fā)生，以用戶滿意度公平和資源利用率為目標，為作業(yè)進行動態(tài)的資源重分配。
　　本文在