基于糾刪碼的高性能云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)日益發(fā)展，數(shù)據(jù)存儲(chǔ)，特別是大容量數(shù)據(jù)的存儲(chǔ)，也越來(lái)越受到重視，分布式存儲(chǔ)系統(tǒng)的出現(xiàn)，解決了大數(shù)據(jù)的存儲(chǔ)問(wèn)題，并且使得數(shù)據(jù)具有良好的可靠性、安全性。它將數(shù)據(jù)分散的存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，即使有若干個(gè)節(jié)點(diǎn)因系統(tǒng)故障、斷電等因素出現(xiàn)的宕機(jī)，也可以使用戶在無(wú)察覺(jué)的情況下訪問(wèn)所需要的數(shù)據(jù)。
　　在目前流行的分布式存儲(chǔ)系統(tǒng)中，例如Hadoop HDFS，Openstack Swift，Ceph等，采用的數(shù)據(jù)備份方式均為三備份存儲(chǔ)策略，其優(yōu)

2、點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，安全有效。缺點(diǎn)也很明顯，就是占用大量存儲(chǔ)空間?，F(xiàn)在互聯(lián)網(wǎng)用戶越來(lái)越龐大，大型互聯(lián)網(wǎng)公司每天需要存儲(chǔ)的數(shù)據(jù)量可能是以PB為單位，如果任何數(shù)據(jù)都采用三備份的話，無(wú)疑對(duì)存儲(chǔ)成本的節(jié)省提出了極大的考驗(yàn)。糾刪碼（Erasure Code）算法是一種將數(shù)據(jù)分割成片斷，然后通過(guò)數(shù)據(jù)片運(yùn)算生成冗余校驗(yàn)塊的一種編碼。針對(duì)這個(gè)狀況，論文提出了基于Hadoop HDFS的高性能存儲(chǔ)平臺(tái)。
　　論文首先介紹了當(dāng)前國(guó)內(nèi)外IT企業(yè)存儲(chǔ)需求現(xiàn)狀，

3、分析了采用新存儲(chǔ)策略的必要性。第二部分介紹了當(dāng)前主流分布式計(jì)算/存儲(chǔ)的Hadoop框架。第三部分是針對(duì)Hadoop HDFS目前的三備份策略的存儲(chǔ)占用空間過(guò)多以及當(dāng)前Erasure Code編碼性能等問(wèn)題進(jìn)行分析并提出系統(tǒng)的設(shè)計(jì)思路。第四部分是基于Hdoop HDFS以及Intel CPU指令集的高性能云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，以及對(duì)當(dāng)前Erasure Code算法的優(yōu)化，主要是利用Intel CPU指令集，改進(jìn)有限域內(nèi)矩陣的運(yùn)算。第四部