基于糾刪碼存儲的數(shù)據(jù)維護關(guān)鍵技術(shù)研究.pdf

1、隨著當前云存儲，大數(shù)據(jù)等技術(shù)的興起，數(shù)據(jù)的可生存性日益受到重視，而數(shù)據(jù)容錯技術(shù)則是保證數(shù)據(jù)生存性的主要方法。當前的數(shù)據(jù)容錯技術(shù)主要通過冗余的方法實現(xiàn)，主要有副本方式和糾刪碼方式，糾刪碼方式在存儲效率方面遠遠高于副本方式，但存在數(shù)據(jù)維護開銷大的問題。
　　本文對糾刪碼方案的數(shù)據(jù)維護開銷問題進行了研究，提出其面臨的兩大問題：1.節(jié)點間維護通信開銷過大；2.數(shù)據(jù)恢復計算開銷過大。針對這兩個問題，我們提出了解決的方法。
　　首先，本

2、文從數(shù)據(jù)讀取的角度出發(fā)，提出了被動檢測修復算法。該方法的主要思想是利用系統(tǒng)正常讀帶寬進行數(shù)據(jù)的檢測，如果數(shù)據(jù)需要修復，則緩存正常解碼后的數(shù)據(jù)于本地，通過這種方法檢測過的數(shù)據(jù)在被修復時，不需要再次檢測、下載和解碼數(shù)據(jù)，降低了通信和修復開銷。據(jù)我們所知，目前還沒有類似的方法。
　　其次，本文從系統(tǒng)可靠性的角度出發(fā)，提出了自適應檢測算法，降低數(shù)據(jù)修復和通信開銷。該方法的主要思想是根據(jù)系統(tǒng)可靠性的不同來調(diào)整數(shù)據(jù)維護的頻率，可靠性較高的系統(tǒng)

3、則維護頻率較低。該方法與現(xiàn)存的其他方法相比，主要不同在于數(shù)據(jù)維護頻率是根據(jù)系統(tǒng)可靠性而動態(tài)變化，在降低維護頻率的同時，保證了數(shù)據(jù)可用性。
　　再次，本文從數(shù)據(jù)分類的角度出發(fā)，提出了容忍度選擇算法。該方法主要思想是根據(jù)數(shù)據(jù)訪問模式的不同（實際的存儲系統(tǒng)中，數(shù)據(jù)的訪問模式存在較大的差異[64]），對不同的數(shù)據(jù)實現(xiàn)不同的維護頻率，降低不經(jīng)常訪問數(shù)據(jù)的維護頻率，從而進一步降低了通信和修復開銷。據(jù)我們所知，目前還沒有基于糾刪碼存儲的系統(tǒng)在數(shù)