海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、隨著信息技術(shù)的不斷發(fā)展，數(shù)據(jù)日益成為人們?nèi)粘Ｉ钪兄匾Y源。據(jù)統(tǒng)計，2010年全球創(chuàng)建、存儲和復(fù)制的數(shù)字信息總量已達(dá)到1.2ZB，2011年的數(shù)據(jù)量達(dá)到里程碑式的1.8ZB，而且這種增長還在加速，預(yù)計2015年將達(dá)到近8ZB。爆炸式增長的數(shù)據(jù)必然帶來存儲設(shè)備的持續(xù)增加。目前，海量數(shù)據(jù)存儲環(huán)境下的現(xiàn)代數(shù)據(jù)中心的存儲節(jié)點(diǎn)規(guī)模少則幾萬多則幾十萬，但在規(guī)模巨大的存儲環(huán)境系統(tǒng)中，磁盤損毀或者存儲節(jié)點(diǎn)失效已成為一種常態(tài)行為；與此同時，因網(wǎng)絡(luò)連接設(shè)備

2、或者存儲節(jié)點(diǎn)其它元器件造成的數(shù)據(jù)不可訪問或者丟失現(xiàn)象也時有發(fā)生。為了滿足日益擴(kuò)展的數(shù)據(jù)存儲需求，人們對數(shù)據(jù)存儲的可靠性，可用性等相關(guān)特性提出了更高的要求，傳統(tǒng)的常規(guī)技術(shù)手段根本無法應(yīng)對當(dāng)前的形式，如何實(shí)現(xiàn)海量數(shù)據(jù)的低冗余度高可靠性存儲已經(jīng)成為業(yè)界面臨的一個巨大挑戰(zhàn)。
　　因而，本文針對構(gòu)建低冗余度高可靠性海量數(shù)據(jù)存儲系統(tǒng)的關(guān)鍵問題，在總結(jié)了當(dāng)今數(shù)據(jù)可靠性增強(qiáng)理論和海量數(shù)據(jù)存儲系統(tǒng)基本架構(gòu)的基礎(chǔ)上，對高性能數(shù)據(jù)容刪數(shù)據(jù)布局算法以及高

3、可靠性存儲架構(gòu)等方面進(jìn)行了深入的研究，取得了一定的進(jìn)展，具體如下：
　　1．針對已在數(shù)據(jù)存儲系統(tǒng)中有廣泛應(yīng)用的RAID技術(shù)，提出了一種新的基于異或運(yùn)算的水平陣列糾刪碼：EX-ENOD碼。該碼能夠容許任意三列的隨機(jī)刪除錯，并具有極大距離可分性質(zhì)。根據(jù)該碼的幾何構(gòu)造特點(diǎn)，提出了一種具有低計算復(fù)雜度的譯碼方法，該方法的計算復(fù)雜度要低于目前已知的其它可糾三列隨機(jī)刪除錯糾刪碼的譯碼方法。同時，該編碼方法具有明顯的通用性，可以擴(kuò)展應(yīng)用到STA

4、R碼、EEOD碼的譯碼過程。
　　2．針對海量存儲系統(tǒng)規(guī)模不斷擴(kuò)大，可靠性要求不斷提高的需求，本文將在{0,1}符號域上的范德蒙系統(tǒng)編碼方法引入存儲系統(tǒng)中來。該種編碼方法繼承了傳統(tǒng)有限域上構(gòu)建的范德蒙編碼的參數(shù)不受存儲節(jié)點(diǎn)規(guī)模、容錯參數(shù)限制的優(yōu)良特性，而且存儲效率達(dá)到最高，同時該方法突破了傳統(tǒng)有限域上構(gòu)建的編碼需要大量查詢運(yùn)算的弊端?；谠摼幋a方法構(gòu)建的存儲系統(tǒng)，在保證其數(shù)據(jù)仍然可用的情況下，最多可容許系統(tǒng)內(nèi)部一半的存儲節(jié)點(diǎn)發(fā)生損

5、毀，在該種情況下，系統(tǒng)僅需要與原數(shù)據(jù)相同的冗余數(shù)據(jù)量。
　　3．針對{0,1}符號域上編碼矩陣的特點(diǎn)，根據(jù)編碼矩陣中各行向量中“1”元素的分布，提出了可降低編譯碼計算復(fù)雜度的優(yōu)化算法。文章同時針對傳統(tǒng)譯碼重構(gòu)過程重構(gòu)帶寬較高的缺點(diǎn)，提出了基于校驗矩陣的譯碼方法，并根據(jù)校驗矩陣列向量的特點(diǎn)和存儲系統(tǒng)所需要重構(gòu)數(shù)據(jù)的數(shù)目，給出了一種低帶寬重構(gòu)算法。該種低帶寬重構(gòu)算法，可以推廣到所有構(gòu)建在{0,1}符號域上的編碼存儲系統(tǒng)。
　　4