基于糾刪碼的高性能云存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)日益發(fā)展，數(shù)據(jù)存儲，特別是大容量數(shù)據(jù)的存儲，也越來越受到重視，分布式存儲系統(tǒng)的出現(xiàn)，解決了大數(shù)據(jù)的存儲問題，并且使得數(shù)據(jù)具有良好的可靠性、安全性。它將數(shù)據(jù)分散的存儲在多個節(jié)點上，即使有若干個節(jié)點因系統(tǒng)故障、斷電等因素出現(xiàn)的宕機，也可以使用戶在無察覺的情況下訪問所需要的數(shù)據(jù)。
　　在目前流行的分布式存儲系統(tǒng)中，例如Hadoop HDFS，Openstack Swift，Ceph等，采用的數(shù)據(jù)備份方式均為三備份存儲策略，其優(yōu)

2、點是實現(xiàn)簡單，安全有效。缺點也很明顯，就是占用大量存儲空間?，F(xiàn)在互聯(lián)網(wǎng)用戶越來越龐大，大型互聯(lián)網(wǎng)公司每天需要存儲的數(shù)據(jù)量可能是以PB為單位，如果任何數(shù)據(jù)都采用三備份的話，無疑對存儲成本的節(jié)省提出了極大的考驗。糾刪碼（Erasure Code）算法是一種將數(shù)據(jù)分割成片斷，然后通過數(shù)據(jù)片運算生成冗余校驗塊的一種編碼。針對這個狀況，論文提出了基于Hadoop HDFS的高性能存儲平臺。
　　論文首先介紹了當前國內(nèi)外IT企業(yè)存儲需求現(xiàn)狀，

3、分析了采用新存儲策略的必要性。第二部分介紹了當前主流分布式計算/存儲的Hadoop框架。第三部分是針對Hadoop HDFS目前的三備份策略的存儲占用空間過多以及當前Erasure Code編碼性能等問題進行分析并提出系統(tǒng)的設(shè)計思路。第四部分是基于Hdoop HDFS以及Intel CPU指令集的高性能云存儲系統(tǒng)的設(shè)計與實現(xiàn)，以及對當前Erasure Code算法的優(yōu)化，主要是利用Intel CPU指令集，改進有限域內(nèi)矩陣的運算。第四部