MapReduce容錯(cuò)機(jī)制的改進(jìn)研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)已經(jīng)滲透到各行各業(yè)，而且互聯(lián)網(wǎng)用戶數(shù)目也不斷地在增長，這導(dǎo)致了互聯(lián)網(wǎng)數(shù)據(jù)的爆發(fā)式增長，也為分布式計(jì)算提供了新的機(jī)遇。MapReduce是Google提出用于處理海量數(shù)據(jù)的分布式并行計(jì)算編程模型，它具有自動(dòng)并行處理作業(yè)，可靠性高及編程簡單等特點(diǎn)。Hadoop是基于MapReduce的開源分布式并行計(jì)算基礎(chǔ)平臺(tái)，由于定制和使用簡單而被眾多企業(yè)和科研單位用于海量數(shù)據(jù)的處理和研究。在Hadoop中分別采用HDF

2、S(Hadoop Distributed File System)和MapReduce來存儲(chǔ)和處理海量數(shù)據(jù)。在MapReduce框架中把硬件故障當(dāng)作常態(tài)，因此容錯(cuò)機(jī)制是存儲(chǔ)和計(jì)算健壯性和高效性的保障。推測執(zhí)行是計(jì)算容錯(cuò)的重要手段，它通過找出執(zhí)行異常慢的任務(wù)并將其備份任務(wù)放于另一個(gè)節(jié)點(diǎn)執(zhí)行，以達(dá)到降低任務(wù)執(zhí)行時(shí)間及節(jié)省集群資源的目的?，F(xiàn)有的推測執(zhí)行策略主要包括基于啟發(fā)式的LATE(Longest Approximate Time to E

3、nd)和基于集群成本效益的MCP(Maximum Cost Performance)。這兩種策略的實(shí)現(xiàn)原理不相同，LATE比MCP實(shí)現(xiàn)起來更簡單，但效果不如MCP。
　　通過對(duì)LATE策略中存在的問題進(jìn)行總結(jié)和分析，針對(duì)LATE策略中進(jìn)行任務(wù)剩余時(shí)間評(píng)估沒有考慮系統(tǒng)負(fù)載的影響而導(dǎo)致評(píng)估結(jié)果不準(zhǔn)確的不足，提出了系統(tǒng)負(fù)載感知的啟發(fā)式推測執(zhí)行策略ERUL(Estimate Remaintime Using Linerrelationsh

4、ip)。ERUL擴(kuò)展計(jì)算密集型任務(wù)執(zhí)行時(shí)間同系統(tǒng)負(fù)載基本呈線性關(guān)系的結(jié)論用于任務(wù)剩余執(zhí)行時(shí)間的評(píng)估，提高了評(píng)估的準(zhǔn)確度。同時(shí)，ERUL還解決了LATE中不能處理Map任務(wù)輸入傾斜，不能及時(shí)發(fā)現(xiàn)掉隊(duì)任務(wù)及節(jié)點(diǎn)性能評(píng)價(jià)存在缺陷等問題。實(shí)驗(yàn)表明ERUL在任務(wù)剩余執(zhí)行時(shí)間評(píng)估方面比LATE更精確，同時(shí)對(duì)集群性能的改善也比LATE更好。
　　對(duì)MCP策略執(zhí)行流程和存在的問題進(jìn)行深入分析，提出了一種異構(gòu)環(huán)境下的MapReduce推測執(zhí)行改進(jìn)策

5、略exMCP(extensional MCP)。MCP模型在對(duì)集群資源價(jià)值進(jìn)行計(jì)算時(shí)沒有考慮異構(gòu)環(huán)境下不同節(jié)點(diǎn)的Slot擁有不同的價(jià)值，因而會(huì)導(dǎo)致模型使用時(shí)產(chǎn)生差錯(cuò)。同時(shí)，MCP中沒有對(duì)Map任務(wù)按照是否滿足數(shù)據(jù)本地化進(jìn)行分類，這可能導(dǎo)致不滿足數(shù)據(jù)本地化的任務(wù)被全部認(rèn)定為掉隊(duì)任務(wù)等錯(cuò)誤。在exMCP中通過考慮Slot價(jià)值來計(jì)算集群資源價(jià)值，同時(shí)對(duì)Map任務(wù)分類獨(dú)立進(jìn)行推測執(zhí)行，另外還對(duì)選擇備份任務(wù)執(zhí)行節(jié)點(diǎn)存在的問題進(jìn)行了改善。實(shí)驗(yàn)結(jié)果表