基于自適應(yīng)策略的Spark自動(dòng)化檢查點(diǎn)的研究與優(yōu)化.pdf

1、由于Hadoop MapReduce等大數(shù)據(jù)處理平臺(tái)的處理性能一直在不斷提升，使得大數(shù)據(jù)處理成為了IT業(yè)界內(nèi)最受關(guān)注的領(lǐng)域。在這些大數(shù)據(jù)處理平臺(tái)中，Spark框架從被提出來(lái)之后變得越來(lái)越流行。相對(duì)于傳統(tǒng)的Hadoop MapReduce編程模型的key-value編程，Spark的編程模型中提供了更多對(duì)于集合操作的支持使得 Spark編程本身更容易學(xué)習(xí)使用。
　　由于Spark的是一個(gè)完全在內(nèi)存中計(jì)算的框架，它相對(duì)于Hadoop

2、MapReduce在性能上有極大的提升。當(dāng)Spark任務(wù)發(fā)生失敗或者RDD讀取未中的時(shí)候，Spark會(huì)重新計(jì)算丟失RDD的依賴(lài)路徑（lineage）上所有丟失RDD。一個(gè)非常長(zhǎng)的依賴(lài)路徑不僅會(huì)增加重新計(jì)算的代價(jià)，同時(shí)也會(huì)耗費(fèi)更多的時(shí)間與空間代價(jià)。Spark中的檢查點(diǎn)會(huì)切斷 RDD的依賴(lài)關(guān)系同時(shí)將數(shù)據(jù)存儲(chǔ)到磁盤(pán)上，檢查點(diǎn)頻率的選擇會(huì)極大的影響整個(gè)程序的性能。但是原生Spark檢查點(diǎn)需要由應(yīng)用程序開(kāi)發(fā)人員來(lái)進(jìn)行設(shè)置，檢查點(diǎn)的設(shè)置過(guò)于頻繁會(huì)使

3、系統(tǒng)性能下降?；蛘弋?dāng)系統(tǒng)配置變更后原有應(yīng)用程序上的檢查點(diǎn)設(shè)置可能并不會(huì)很好的適應(yīng)新的系統(tǒng)環(huán)境。
　　本文在研究與分析 Spark源代碼并進(jìn)行驗(yàn)證實(shí)驗(yàn)的基礎(chǔ)上，發(fā)現(xiàn)了相應(yīng)模塊上的不足。針對(duì)發(fā)現(xiàn)的問(wèn)題探索設(shè)計(jì)并實(shí)現(xiàn)三種在Spark上的自動(dòng)化檢查點(diǎn)策略來(lái)解決由長(zhǎng)依賴(lài)路徑帶來(lái)的額外開(kāi)銷(xiāo)，同時(shí)使得檢查點(diǎn)給性能本身帶來(lái)的影響較小。這個(gè)自動(dòng)化的檢查點(diǎn)主要具有以下功能：
　　1)根據(jù)RDD依賴(lài)路徑關(guān)系自動(dòng)選擇正確的檢查點(diǎn)數(shù)據(jù)進(jìn)行保存。在Sp

4、ark應(yīng)用的一次任務(wù)過(guò)程中會(huì)產(chǎn)生非常多的RDD，在進(jìn)行檢查點(diǎn)數(shù)據(jù)保存時(shí)，挑選出依賴(lài)路徑上關(guān)鍵RDD數(shù)據(jù)進(jìn)行保存。
　　2)選擇合適的檢查點(diǎn)執(zhí)行時(shí)間。根據(jù)內(nèi)存使用情況以及檢查點(diǎn)執(zhí)行耗時(shí)等影響因素來(lái)平衡選擇檢查點(diǎn)執(zhí)行時(shí)機(jī)，在不造成過(guò)多額外時(shí)間開(kāi)銷(xiāo)的情況下提高應(yīng)用程序模塊的運(yùn)行效率。
　　3)自動(dòng)清理已經(jīng)過(guò)期的檢查點(diǎn)數(shù)據(jù)。在新的檢查點(diǎn)完成之后刪除之前保存且并不需要的檢查點(diǎn)數(shù)據(jù)。采用SSD來(lái)存儲(chǔ)檢查點(diǎn)數(shù)據(jù)以提高存儲(chǔ)讀寫(xiě)效率。