集群MapReduce環(huán)境中任務和作業(yè)調度若干關鍵問題的研究.pdf

1、隨著信息化的逐步深入，大規(guī)模的數據處理已經成為很多應用領域的迫切需求。低成本、高性能、使用方便的數據處理技術是與之對應的發(fā)展熱點。集群環(huán)境中的MapReduce大規(guī)模數據處理方式，以其明顯的優(yōu)勢，被廣泛研究和使用。由于采用了自動調度和并行執(zhí)行任務的方式，集群MapReduce環(huán)境中調度相關問題對其性能有重要影響作用，因此具有較高的理論價值和實踐指導意義。本文針對MapReduce執(zhí)行過程的理論分析、連續(xù)多個作業(yè)的資源分配、并行處理中的數

2、據傳輸開銷和負載均衡等關鍵問題進行了研究。具體研究內容如下:
　　首先，針對一個MapReduce作業(yè)中任務的調度和執(zhí)行進行了理論分析。根據map和reduce中任務劃分的特點，將MapReduce中的任務描述為可劃分任務。然后通過分析不同節(jié)點間數據傳輸過程的規(guī)律，提出了多源節(jié)點的相互獨立通信模型。利用可劃分任務理論和提出的通信模型，建模了MapReduce的執(zhí)行過程，并利用線性規(guī)劃求解了最小化作業(yè)執(zhí)行時間的調度方案。在常見的Ma

3、pReduce集群環(huán)境中進行了任務調度方案求解和執(zhí)行性能分析，為優(yōu)化任務調度和數據存儲方案提供了指導。
　　其次，針對同一集群上連續(xù)多個MapReduce作業(yè)的調度優(yōu)化問題進行了研究。對于以泊松過程到達的多個MapReduce作業(yè)，分析了MapReduce作業(yè)中的計算過程，建立了節(jié)點計算能力和作業(yè)計算量之間的匹配關系。然后利用作業(yè)計算量分布函數，理論分析得出了優(yōu)化作業(yè)平均計算時間的調度方案。根據理論研究的結論，提出了中值調度算法。

4、模擬實驗表明，中值調度算法能夠有效減小MapReduce作業(yè)的平均計算時間。
　　再次，進行了優(yōu)化map階段數據傳輸問題的研究。針對網絡負載高的情況，分析了存儲節(jié)點在任務執(zhí)行過程中應該輸出的數據量，提出了慈善調度算法;在網絡負載相對低的情況下，研究了MapReduce中的數據傳輸和任務計算過程，提出了更充分地掩蓋數據傳輸過程的數據預取機制。實驗表明，慈善調度算法較好地提升了數據本地化率，而數據預取機制有效地掩蓋了數據傳輸時間。

5、r>　　最后，研究了reduce任務調度中的負載均衡問題。針對reduce階段中存在的負載均衡問題，分析了節(jié)點間通信的特點，建立了對應的節(jié)點通信能力模型，并結合計算能力得到節(jié)點能力。然后根據匹配節(jié)點能力和任務量的思想，提出了針對reduce任務調度的算法。模擬實驗結果表明，所提調度算法取得了良好的負載均衡，減少了執(zhí)行時間，并能較好地適應節(jié)點能力的動態(tài)變化。
　　本文針對集群MapReduce環(huán)境中的相關調度問題，使用理論分析的方法