基于糾刪碼的分布式分層存儲(chǔ)系統(tǒng)研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)的安全可靠存儲(chǔ)變得愈發(fā)重要?，F(xiàn)有的分布式存儲(chǔ)系統(tǒng)常使用副本技術(shù)保證數(shù)據(jù)可靠性，同時(shí)為了提高存儲(chǔ)的效率，會(huì)應(yīng)用糾刪碼技術(shù)，但是這帶來了巨大的修復(fù)開銷，即在修復(fù)丟失數(shù)據(jù)塊時(shí)會(huì)伴隨著大量的磁盤I/O和網(wǎng)絡(luò)傳輸。另一方面，存儲(chǔ)系統(tǒng)中不同熱度數(shù)據(jù)被訪問的頻率是不一樣的，現(xiàn)有的存儲(chǔ)系統(tǒng)常使用性能高的介質(zhì)保存熱數(shù)據(jù)，以降低延時(shí)、提高吞吐量。然而，在熱數(shù)據(jù)上使用糾刪碼，修復(fù)開銷將嚴(yán)重影響性能；在冷數(shù)據(jù)上使用副本，又會(huì)嚴(yán)重降低存

2、儲(chǔ)空間使用率。為了兼顧數(shù)據(jù)可靠性及系統(tǒng)性能，針對基于糾刪碼的分布式存儲(chǔ)系統(tǒng)進(jìn)行編碼方法優(yōu)化工作和分層存儲(chǔ)成為研究的熱點(diǎn)。
　　本課題設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于糾刪碼的分布式分層存儲(chǔ)系統(tǒng)DHFS。針對現(xiàn)有編碼方法的修復(fù)代價(jià)問題，采用了不同的編碼方法和不同的編碼參數(shù)選擇保證數(shù)據(jù)的可靠性和修復(fù)、降級讀性能。針對冷熱數(shù)據(jù)，分別提供了在硬盤層和內(nèi)存層的容錯(cuò)方案。在熱數(shù)據(jù)發(fā)生丟失時(shí)，可以快速從其它節(jié)點(diǎn)的內(nèi)存中讀取數(shù)據(jù)并修復(fù)出源數(shù)據(jù)，提高了熱數(shù)據(jù)的修

3、復(fù)速度和降級讀性能。
　　測試結(jié)果表明，本系統(tǒng)在選擇合適的編碼方法和編碼參數(shù)時(shí)，存儲(chǔ)效率相對三副本提高了約25％，修復(fù)速度相對同樣參數(shù)的RS和CRS編碼提高了約25%；在分層存儲(chǔ)環(huán)境下，數(shù)據(jù)讀取速度比傳統(tǒng)高速緩存結(jié)構(gòu)提高了2倍，修復(fù)的速度則基本相當(dāng)。測試表明，本系統(tǒng)以綜合使用現(xiàn)有糾刪碼技術(shù)和參數(shù)優(yōu)化為基礎(chǔ)，比基于副本存儲(chǔ)系統(tǒng)更節(jié)省空間，比傳統(tǒng)糾刪碼編碼方法有更快的修復(fù)速度和降級讀性能，還可更好發(fā)揮分層存儲(chǔ)架構(gòu)優(yōu)勢，提高了熱點(diǎn)數(shù)據(jù)的