基于Pyramid糾刪碼的云存儲(chǔ)容災(zāi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在信息爆炸式增長(zhǎng)的今天，信息即意味著價(jià)值，如何安全可靠的存儲(chǔ)信息無(wú)疑備受人們的關(guān)注。云存儲(chǔ)系統(tǒng)憑借其高性能、高擴(kuò)展、高可用、大容量等特點(diǎn)而得到廣泛的應(yīng)用。云存儲(chǔ)系統(tǒng)通常結(jié)合使用三副本鏡像機(jī)制和糾刪碼技術(shù)來(lái)保證其數(shù)據(jù)的可靠及性可用性，對(duì)于三副本冗余機(jī)制而言，當(dāng)同一數(shù)據(jù)塊的三個(gè)副本鏡像同時(shí)丟失時(shí)，必然會(huì)造成文件的損壞，而如果增加副本數(shù)目則會(huì)降低系統(tǒng)的存儲(chǔ)空間利用率;同時(shí)云存儲(chǔ)系統(tǒng)采用的RS糾刪碼由于自身的編碼特性，其在進(jìn)行故障譯碼恢復(fù)時(shí)所需

2、讀取的數(shù)據(jù)塊的數(shù)目是恒定的，如果能減少其在進(jìn)行少量數(shù)據(jù)塊恢復(fù)時(shí)的數(shù)據(jù)讀取量，則不僅能加快其故障譯碼恢復(fù)速度，亦能降低故障譯碼恢復(fù)時(shí)的帶寬占用量，從而提高存儲(chǔ)系統(tǒng)的整體性能。本文正是由此出發(fā)，對(duì)其進(jìn)行了深入的研究，最終基于Pyramid碼設(shè)計(jì)了云存儲(chǔ)容災(zāi)系統(tǒng)，其主要工作內(nèi)容包括如下幾個(gè)方面：
　　首先，在不增加額外存儲(chǔ)空間的基礎(chǔ)之上，本文通過(guò)使用異或校驗(yàn)數(shù)據(jù)塊對(duì)三副本鏡像機(jī)制進(jìn)行了改進(jìn)，并將其稱為高容錯(cuò)三副本鏡像機(jī)制。當(dāng)某些原始數(shù)據(jù)

3、塊的三個(gè)鏡像備份數(shù)據(jù)塊同時(shí)丟失時(shí)，其亦能恢復(fù)丟失數(shù)據(jù)塊，因而和原三副本鏡像機(jī)制相比，高容錯(cuò)三副本鏡像機(jī)制的容錯(cuò)能力更強(qiáng);同時(shí)校驗(yàn)數(shù)據(jù)塊的計(jì)算僅使用異或運(yùn)算，實(shí)現(xiàn)方式較為簡(jiǎn)單。
　　其次，本文利用已有的Pyramid碼代替云存儲(chǔ)系統(tǒng)中通常使用的RS碼，從而有效的降低了單條塊故障譯碼恢復(fù)時(shí)的數(shù)據(jù)讀取量，加快了數(shù)據(jù)讀取速度，減少了故障恢復(fù)時(shí)的計(jì)算量。隨著對(duì)糾刪碼技術(shù)的深入研究，本文通過(guò)增加1個(gè)本地冗余校驗(yàn)塊對(duì)Pyramid碼進(jìn)行了改進(jìn)，

4、提出了一種初步的編譯碼方案，該方案降低了兩塊故障恢復(fù)時(shí)數(shù)據(jù)存儲(chǔ)中心之間的數(shù)據(jù)傳輸量，加快了數(shù)據(jù)讀取速度，且改進(jìn)后的Pyramid碼保持原Pyramid碼的編碼結(jié)構(gòu)，因而增加了故障恢復(fù)的譯碼方式。
　　最后，本文在Hadoop基礎(chǔ)之上，使用高容錯(cuò)三副本鏡像機(jī)制和Pyramid碼，設(shè)計(jì)了云存儲(chǔ)容災(zāi)系統(tǒng)。該存儲(chǔ)容災(zāi)系統(tǒng)使用高容錯(cuò)三副本鏡像機(jī)制編碼存儲(chǔ)熱數(shù)據(jù)文件，使用Pyramid碼對(duì)冷數(shù)據(jù)文件進(jìn)行編碼存儲(chǔ)，同時(shí)根據(jù)用戶對(duì)數(shù)據(jù)文件的關(guān)注程