分布式存儲系統(tǒng)中基于糾刪碼的備份與修復(fù)技術(shù)研究.pdf

1、分布式存儲系統(tǒng)通過多節(jié)點存儲和管理數(shù)據(jù)，能夠?qū)崿F(xiàn)數(shù)據(jù)的海量存儲。這類系統(tǒng)一般采用商用服務(wù)器節(jié)點構(gòu)建，節(jié)點的頻繁失效使得數(shù)據(jù)的可靠性較低。糾刪碼技術(shù)可以通過對數(shù)據(jù)進(jìn)行編碼，實現(xiàn)數(shù)據(jù)的冗余存儲，提高數(shù)據(jù)的可靠性。然而，將糾刪碼應(yīng)用于分布式存儲系統(tǒng)時，會出現(xiàn)數(shù)據(jù)插入效率低、失效數(shù)據(jù)的修復(fù)開銷高、修復(fù)時間長等問題。本文針對這些問題展開研究，取得了以下成果：
　　針對傳統(tǒng)糾刪碼方案下數(shù)據(jù)插入效率較低的問題，提出了一種面向數(shù)據(jù)插入的均衡分發(fā)方

2、法，以有效減小數(shù)據(jù)插入時間，提高插入過程的吞吐量。該方法的基本思想是：將各數(shù)據(jù)塊拆分為粒度更小的數(shù)據(jù)片，利用中間節(jié)點間的傳輸能力轉(zhuǎn)發(fā)數(shù)據(jù)片，達(dá)到并行傳輸?shù)男Ч?；將并行傳輸下的?shù)據(jù)塊劃分方案建模為一個二次規(guī)劃問題，求解出最小插入時間，獲得最優(yōu)的數(shù)據(jù)塊劃分方案。實驗表明，與傳統(tǒng)的星型數(shù)據(jù)插入模式相比，該方法降低了數(shù)據(jù)插入時間，提高了插入過程的吞吐量，提高了數(shù)據(jù)插入效率。
　　針對糾刪碼在數(shù)據(jù)修復(fù)時開銷較高的問題，提出了一種交織層次復(fù)合

3、碼，稱為IZSHC。采用IZSHC，以有效降低數(shù)據(jù)修復(fù)時從磁盤讀取的數(shù)據(jù)量和數(shù)據(jù)傳輸量。構(gòu)建IZSHC的基本思想是：通過分解IZS碼的重復(fù)碼結(jié)構(gòu)得到最小的IZS編碼組，將IZS編碼組的數(shù)據(jù)修復(fù)開銷小的基本特性融合到層次碼中；利用層次碼的層組結(jié)構(gòu)對IZS編碼組進(jìn)行擴展，減少數(shù)據(jù)修復(fù)時參與修復(fù)的節(jié)點數(shù)目。該方法將IZS碼的重復(fù)碼可分解特性與層次碼的分層分組模式結(jié)合起來，從總體上降低了修復(fù)開銷。實驗表明，與糾刪碼相比，IZSHC減少了數(shù)據(jù)修復(fù)

4、中參與的節(jié)點數(shù)目，使得修復(fù)中的總磁盤開銷與總傳輸帶寬開銷降低。
　　針對糾刪碼下的單節(jié)點修復(fù)方法修復(fù)時間較長的問題，提出了一種協(xié)作式的多樹修復(fù)方法，以有效減小單節(jié)點修復(fù)時間。該方法的基本思想是：通過將網(wǎng)絡(luò)中更多的可用帶寬組織成多樹實現(xiàn)對單個數(shù)據(jù)塊的協(xié)作修復(fù)模式，每個樹單獨修復(fù)數(shù)據(jù)塊的一部分，加快修復(fù)過程；通過迭代式的邊交換方式盡力提高每棵樹的瓶頸帶寬，實現(xiàn)對網(wǎng)絡(luò)帶寬的充分使用，進(jìn)一步減小修復(fù)時間。實驗表明，與基于網(wǎng)絡(luò)編碼的單樹修復(fù)

5、模式相比，能夠減小失效節(jié)點的修復(fù)時間。
　　針對糾刪碼下的多節(jié)點修復(fù)方法修復(fù)時間較長的問題，提出了一種基于MSR碼的多樹修復(fù)方法，以有效減小節(jié)點平均修復(fù)時間。該方法的基本思想是：依次為每個失效節(jié)點構(gòu)造一棵極小最大瓶頸生成樹；在每次構(gòu)造單樹時，在不減小當(dāng)前樹中瓶頸帶寬的前提下，將其它帶寬較大的邊留給余下的樹的構(gòu)造，提高這些樹獲取更大瓶頸帶寬邊的機會。該方法有效利用了并行多樹中瓶頸帶寬之間的關(guān)聯(lián)特點，實現(xiàn)了對網(wǎng)絡(luò)中可用帶寬的高利用率。