基于中間結(jié)果檢查點的MapReduce容錯方法研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)所產(chǎn)生的數(shù)據(jù)量開始呈爆發(fā)性的增長，傳統(tǒng)的存儲和計算模式已經(jīng)不能滿足應(yīng)用中的存儲和計算需求，云計算憑借其優(yōu)秀的分布式處理技術(shù)成為目前最流行的數(shù)據(jù)處理技術(shù)。其中，MapReduce作為一種高效的并行計算框架，越來越多的應(yīng)用在大數(shù)據(jù)處理領(lǐng)域。
　　目前MapReduce模型有兩種常見的故障類型:任務(wù)故障和節(jié)點故障[1]。對于任務(wù)故障，MapReduce采用“再執(zhí)行”的處理方式，即當(dāng)任務(wù)執(zhí)行失敗以后，會被重新分配

2、執(zhí)行，任務(wù)的每次重新執(zhí)行不僅浪費了大量的計算資源，也延長了任務(wù)平均完成時間，降低了計算效率。節(jié)點故障一般分為Master節(jié)點故障和Worker節(jié)點故障，對于Master節(jié)點故障，MapReduce常采用雙工的容錯方法。對于Worker節(jié)點故障，由于Map任務(wù)產(chǎn)生的中間結(jié)果存儲在Worker節(jié)點上，故障會導(dǎo)致中間結(jié)果的丟失，已經(jīng)完成的任務(wù)需要被重新分配執(zhí)行。針對這種故障類型， MapReduce計算模型目前還沒有合適、高效的容錯方法。

3、r>　　本文針對當(dāng)前MapReduce計算模型中容錯機制不足所導(dǎo)致的容錯效率低、計算資源浪費等問題，通過檢查點容錯技術(shù)，對任務(wù)執(zhí)行狀態(tài)和中間結(jié)果以檢查點文件的方式進(jìn)行保存，保證中間結(jié)果不丟失，當(dāng)故障發(fā)生以后根據(jù)檢查點文件進(jìn)行作業(yè)恢復(fù)時，提高作業(yè)的恢復(fù)執(zhí)行效率。本文主要完成以下三方面的工作。
　　(1)分析Hadoop源碼中MapReduce容錯機制的不足:通過分析Hadoop源碼，研究MapReduce執(zhí)行過程中如何處理任務(wù)故障和

4、節(jié)點故障及其弊端，為改進(jìn)MapReduce目前的容錯方式提供分析基礎(chǔ)。
　　(2)設(shè)計與實現(xiàn)檢查點容錯機制:針對MapReduce計算過程中常見的任務(wù)故障和節(jié)點故障，本文設(shè)計和實現(xiàn)了檢查點容錯機制，將任務(wù)的執(zhí)行狀態(tài)和中間結(jié)果的元數(shù)據(jù)信息以檢查點文件的形式進(jìn)行保存，當(dāng)任務(wù)被重新分配執(zhí)行時利用相應(yīng)的檢查點文件進(jìn)行任務(wù)的快速恢復(fù)執(zhí)行。其中，針對任務(wù)故障設(shè)計實現(xiàn)了本地檢查點容錯機制，針對節(jié)點故障設(shè)計實現(xiàn)了遠(yuǎn)程和查詢元數(shù)據(jù)檢查點容錯機制。<