基于Hadoop存儲(chǔ)系統(tǒng)的數(shù)據(jù)恢復(fù)算法研究.pdf

1、現(xiàn)代的集群存儲(chǔ)系統(tǒng)中越來(lái)越多的采用糾刪碼(Erasure Codes)來(lái)減小傳統(tǒng)的三副本的存儲(chǔ)開(kāi)銷。與此同時(shí)也帶來(lái)了一個(gè)亟待解決的問(wèn)題，即如何為糾刪碼的存儲(chǔ)量身定制一個(gè)數(shù)據(jù)分析范式，尤其當(dāng)存儲(chǔ)系統(tǒng)操作處于故障模式。
　　現(xiàn)有的數(shù)據(jù)恢復(fù)策略都是當(dāng)設(shè)備發(fā)生故障或者數(shù)據(jù)發(fā)生丟失后才啟動(dòng)數(shù)據(jù)恢復(fù)，也就是說(shuō)，這些算法在設(shè)計(jì)和實(shí)現(xiàn)上，對(duì)數(shù)據(jù)丟失和恢復(fù)的感知設(shè)定為被動(dòng)感知，即只有發(fā)生了數(shù)據(jù)丟失才觸發(fā)對(duì)故障數(shù)據(jù)進(jìn)行恢復(fù)。當(dāng)丟失的數(shù)據(jù)較多，或者涉及

2、到大量數(shù)據(jù)恢復(fù)任務(wù)的時(shí)候，也正是MapReduce任務(wù)集中執(zhí)行的時(shí)候，無(wú)論是Map任務(wù)調(diào)度單元(Map Slot)和Reduce任務(wù)調(diào)度單元(ReduceSlot)，還是網(wǎng)絡(luò)資源，都是各個(gè)任務(wù)執(zhí)行時(shí)相互爭(zhēng)奪的對(duì)象，因此會(huì)極大地降低MapReduce的性能，對(duì)于追求高效率的大數(shù)據(jù)處理也是一個(gè)挑戰(zhàn)。
　　本文提出的基于數(shù)據(jù)熱度的前攝性數(shù)據(jù)恢復(fù)算法，其基本思想是能夠在數(shù)據(jù)丟失之后且被訪問(wèn)之前，提前感知到這些數(shù)據(jù)的丟失，并對(duì)這些丟失數(shù)據(jù)進(jìn)

3、行恢復(fù)。當(dāng)后續(xù)訪問(wèn)到這些丟失數(shù)據(jù)的時(shí)候，系統(tǒng)不會(huì)感知數(shù)據(jù)是否丟失，也就不必對(duì)數(shù)據(jù)恢復(fù)過(guò)程做等待。特別是，當(dāng)這些數(shù)據(jù)是訪問(wèn)頻率較高的熱點(diǎn)數(shù)據(jù)時(shí)，該提出算法對(duì)Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，簡(jiǎn)稱為HDFS)以及MapReduce的性能提升有很大幫助。鑒于降低開(kāi)銷代價(jià)的考慮，提出的算法沒(méi)有對(duì)文件系統(tǒng)中所有的數(shù)據(jù)塊是否丟失進(jìn)行預(yù)測(cè)，只對(duì)其中的熱點(diǎn)數(shù)據(jù)的可用性進(jìn)行跟蹤。因?yàn)镠DFS中的數(shù)據(jù)