分布式存儲系統(tǒng)中數(shù)據(jù)重構(gòu)優(yōu)化算法.pdf

1、分布式存儲系統(tǒng)以其設(shè)備廉價并易于擴(kuò)展的優(yōu)點已經(jīng)成為大數(shù)據(jù)存儲的一種重要方式。為維持?jǐn)?shù)據(jù)可靠性，分布式存儲系統(tǒng)通過存儲部分冗余數(shù)據(jù)以保證系統(tǒng)在發(fā)生存儲節(jié)點故障時可以自發(fā)地完成數(shù)據(jù)修復(fù)。當(dāng)節(jié)點發(fā)生故障導(dǎo)致其存儲的數(shù)據(jù)失效時，通常在系統(tǒng)中另擇一個新節(jié)點再生已失效的數(shù)據(jù)來維持系統(tǒng)中數(shù)據(jù)文件隨時可用。
　　與保存文件的多個副本或使用糾刪碼進(jìn)行冗余存儲相比，由再生碼生成冗余數(shù)據(jù)的容錯方案不但對存儲節(jié)點故障擁有更強(qiáng)的抵抗能力，還可以為系統(tǒng)提供更

2、低的存儲開銷和帶寬開銷。目前對再生碼的研究多集中于編碼參數(shù)設(shè)定以及編碼實現(xiàn)方式，很少考慮實際系統(tǒng)中存儲節(jié)點異質(zhì)性和帶寬異質(zhì)性對再生過程的時間開銷以及成功率的影響。
　　本文在滿足再生碼修復(fù)性質(zhì)的前提下，通過理論分析和實驗仿真研究了高性能再生過程的再生碼策略，具體工作如下：
　?、倩仡櫫藘煞N傳統(tǒng)分布式存儲容錯方案，針對網(wǎng)絡(luò)編碼策略和再生碼策略的編碼理論和研究現(xiàn)狀進(jìn)行了詳細(xì)說明。
　　②為明確再生碼實現(xiàn)過程中各項工作對再生

3、性能的影響，提出一種劃分方式，將再生過程按照時間邏輯分為數(shù)據(jù)分布、數(shù)據(jù)編解碼，數(shù)據(jù)傳輸和數(shù)據(jù)重建四個階段，并針對數(shù)據(jù)傳輸階段介紹了的一種基于樹形拓?fù)涞膫鬏敺绞健?br>　?、鄯治隽藰湫瓮?fù)鋫鬏敺绞降木窒扌?，并針對該局限性以及實際分布式存儲系統(tǒng)中節(jié)點性能的差異，提出了一種基于節(jié)點能力感知數(shù)據(jù)傳輸路徑構(gòu)建方法，該方法在選擇高可靠性供應(yīng)節(jié)點承擔(dān)數(shù)據(jù)傳輸任務(wù)的同時還可以避免可用帶寬低的傳輸鏈路，保證了再生過程數(shù)據(jù)傳輸高速完成，減少了無效數(shù)據(jù)傳輸