面向冷數(shù)據(jù)存儲的分布式編碼技術(shù)研究與實現(xiàn).pdf

1、自互聯(lián)網(wǎng)誕生以來，尤其是最近幾年移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和云計算的發(fā)展，催生了網(wǎng)絡數(shù)據(jù)的指數(shù)級增長。這給存儲系統(tǒng)造成了極大的壓力。為保證數(shù)據(jù)的可靠性，存儲系統(tǒng)通常采用多副本的方式進行存儲，造成了大量的數(shù)據(jù)冗余。使用糾刪碼做數(shù)據(jù)容錯可以有效降低數(shù)據(jù)冗余，但是數(shù)據(jù)可用性會有一定程度的降低。這就造成了某種程度上的矛盾。
　　對存儲系統(tǒng)內(nèi)部的數(shù)據(jù)按照使用頻度進行分類，劃分為冷數(shù)據(jù)和熱數(shù)據(jù)，然后對冷數(shù)據(jù)通過糾刪碼的方式進行存儲。這在保證了數(shù)據(jù)可用

2、性的同時，極大的降低了系統(tǒng)的數(shù)據(jù)冗余。系統(tǒng)設(shè)計上，將數(shù)據(jù)節(jié)點按照存儲空間和計算能力，劃分為多個虛擬節(jié)點，然后將虛擬節(jié)點通過一致性哈希分散到一個哈希環(huán)上，構(gòu)造一個全對稱、去中心的哈希環(huán)，以此達到數(shù)據(jù)分布和任務調(diào)度的均勻。編碼、解碼過程中，通過使用Bit-Matrix技術(shù)，降低了編碼矩陣中1的個數(shù)，有效的減少了編碼、解碼過程中的XOR運算次數(shù)。同時，解碼隊列技術(shù)的引進，通過對編碼、解碼過程中的執(zhí)行步驟進行有效的規(guī)劃，尤其是解碼過程中后續(xù)解碼