云存儲中集群重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計.pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)已呈爆炸式的增長，海量數(shù)據(jù)的存儲已成為數(shù)據(jù)中心的首要問題，重復(fù)數(shù)據(jù)大量存在于信息處理與存儲的各個環(huán)節(jié)中，如文件系統(tǒng)、郵件附件、web對象以及操作系統(tǒng)與應(yīng)用軟件中。傳統(tǒng)的數(shù)據(jù)保護技術(shù)如周期備份、版本控制、快照等更是加速了重復(fù)數(shù)據(jù)的增長，導(dǎo)致網(wǎng)絡(luò)帶寬與存儲資源的消耗以及存儲成本的增加。為了提高存儲資源利用率，降低數(shù)據(jù)管理成本，重復(fù)數(shù)據(jù)刪除技術(shù)的提出與應(yīng)用已經(jīng)成為目前企業(yè)與數(shù)據(jù)中心的研究熱點。
　　云存儲服務(wù)具

2、有高可靠性、高通用性、高擴展性及大容量存儲等特點，因此對云存儲技術(shù)的研究不僅緊跟IT技術(shù)發(fā)展的趨勢，而且具有較高的應(yīng)用價值。在云存儲環(huán)境中構(gòu)建大規(guī)模、高性能、分布式重刪系統(tǒng)，具有很大的優(yōu)勢與挑戰(zhàn)。本文在云存儲環(huán)境中設(shè)計了一套在線的集群重刪系統(tǒng)架構(gòu)，并在數(shù)據(jù)路由問題、索引查詢優(yōu)化問題等方面進行了相關(guān)研究，主要完成工作有:
　　(1)基于開源的HDFS分布式文件系統(tǒng)，以集群重復(fù)數(shù)據(jù)刪除技術(shù)為基礎(chǔ)，設(shè)計并實現(xiàn)了具有重復(fù)數(shù)據(jù)刪除功能的分布

3、式文件系統(tǒng)H-Dedup。根據(jù)重復(fù)數(shù)據(jù)刪除技術(shù)的特征，合理設(shè)計系統(tǒng)架構(gòu)與軟件功能模塊，使得重復(fù)數(shù)據(jù)刪除技術(shù)有效融入集群存儲架構(gòu)中。
　　(2)設(shè)計面向重刪的局部相似路由算法，基于數(shù)據(jù)相似理論，以超塊粒度為路由單位，并對超塊進行采樣，選取少量特征指紋，以有狀態(tài)路由方式進行路由匹配，減少網(wǎng)絡(luò)帶寬消耗，快速定位存儲位置。使得分布式存儲系統(tǒng)在保持較高的存儲性能以及吞吐率的同時，快速定位存儲節(jié)點并取得較高的數(shù)據(jù)去重率。
　　(3)為了