MapReduce容錯機制的改進研究.pdf

1、隨著網(wǎng)絡信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)已經(jīng)滲透到各行各業(yè)，而且互聯(lián)網(wǎng)用戶數(shù)目也不斷地在增長，這導致了互聯(lián)網(wǎng)數(shù)據(jù)的爆發(fā)式增長，也為分布式計算提供了新的機遇。MapReduce是Google提出用于處理海量數(shù)據(jù)的分布式并行計算編程模型，它具有自動并行處理作業(yè)，可靠性高及編程簡單等特點。Hadoop是基于MapReduce的開源分布式并行計算基礎平臺，由于定制和使用簡單而被眾多企業(yè)和科研單位用于海量數(shù)據(jù)的處理和研究。在Hadoop中分別采用HDF

2、S(Hadoop Distributed File System)和MapReduce來存儲和處理海量數(shù)據(jù)。在MapReduce框架中把硬件故障當作常態(tài)，因此容錯機制是存儲和計算健壯性和高效性的保障。推測執(zhí)行是計算容錯的重要手段，它通過找出執(zhí)行異常慢的任務并將其備份任務放于另一個節(jié)點執(zhí)行，以達到降低任務執(zhí)行時間及節(jié)省集群資源的目的?，F(xiàn)有的推測執(zhí)行策略主要包括基于啟發(fā)式的LATE(Longest Approximate Time to E

3、nd)和基于集群成本效益的MCP(Maximum Cost Performance)。這兩種策略的實現(xiàn)原理不相同，LATE比MCP實現(xiàn)起來更簡單，但效果不如MCP。
　　通過對LATE策略中存在的問題進行總結(jié)和分析，針對LATE策略中進行任務剩余時間評估沒有考慮系統(tǒng)負載的影響而導致評估結(jié)果不準確的不足，提出了系統(tǒng)負載感知的啟發(fā)式推測執(zhí)行策略ERUL(Estimate Remaintime Using Linerrelationsh

4、ip)。ERUL擴展計算密集型任務執(zhí)行時間同系統(tǒng)負載基本呈線性關系的結(jié)論用于任務剩余執(zhí)行時間的評估，提高了評估的準確度。同時，ERUL還解決了LATE中不能處理Map任務輸入傾斜，不能及時發(fā)現(xiàn)掉隊任務及節(jié)點性能評價存在缺陷等問題。實驗表明ERUL在任務剩余執(zhí)行時間評估方面比LATE更精確，同時對集群性能的改善也比LATE更好。
　　對MCP策略執(zhí)行流程和存在的問題進行深入分析，提出了一種異構(gòu)環(huán)境下的MapReduce推測執(zhí)行改進策

5、略exMCP(extensional MCP)。MCP模型在對集群資源價值進行計算時沒有考慮異構(gòu)環(huán)境下不同節(jié)點的Slot擁有不同的價值，因而會導致模型使用時產(chǎn)生差錯。同時，MCP中沒有對Map任務按照是否滿足數(shù)據(jù)本地化進行分類，這可能導致不滿足數(shù)據(jù)本地化的任務被全部認定為掉隊任務等錯誤。在exMCP中通過考慮Slot價值來計算集群資源價值，同時對Map任務分類獨立進行推測執(zhí)行，另外還對選擇備份任務執(zhí)行節(jié)點存在的問題進行了改善。實驗結(jié)果表