云存儲(chǔ)中集群重復(fù)數(shù)據(jù)刪除系統(tǒng)的研究與設(shè)計(jì).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)已呈爆炸式的增長(zhǎng)，海量數(shù)據(jù)的存儲(chǔ)已成為數(shù)據(jù)中心的首要問(wèn)題，重復(fù)數(shù)據(jù)大量存在于信息處理與存儲(chǔ)的各個(gè)環(huán)節(jié)中，如文件系統(tǒng)、郵件附件、web對(duì)象以及操作系統(tǒng)與應(yīng)用軟件中。傳統(tǒng)的數(shù)據(jù)保護(hù)技術(shù)如周期備份、版本控制、快照等更是加速了重復(fù)數(shù)據(jù)的增長(zhǎng)，導(dǎo)致網(wǎng)絡(luò)帶寬與存儲(chǔ)資源的消耗以及存儲(chǔ)成本的增加。為了提高存儲(chǔ)資源利用率，降低數(shù)據(jù)管理成本，重復(fù)數(shù)據(jù)刪除技術(shù)的提出與應(yīng)用已經(jīng)成為目前企業(yè)與數(shù)據(jù)中心的研究熱點(diǎn)。
　　云存儲(chǔ)服務(wù)具

2、有高可靠性、高通用性、高擴(kuò)展性及大容量存儲(chǔ)等特點(diǎn)，因此對(duì)云存儲(chǔ)技術(shù)的研究不僅緊跟IT技術(shù)發(fā)展的趨勢(shì)，而且具有較高的應(yīng)用價(jià)值。在云存儲(chǔ)環(huán)境中構(gòu)建大規(guī)模、高性能、分布式重刪系統(tǒng)，具有很大的優(yōu)勢(shì)與挑戰(zhàn)。本文在云存儲(chǔ)環(huán)境中設(shè)計(jì)了一套在線的集群重刪系統(tǒng)架構(gòu)，并在數(shù)據(jù)路由問(wèn)題、索引查詢優(yōu)化問(wèn)題等方面進(jìn)行了相關(guān)研究，主要完成工作有:
　　(1)基于開(kāi)源的HDFS分布式文件系統(tǒng)，以集群重復(fù)數(shù)據(jù)刪除技術(shù)為基礎(chǔ)，設(shè)計(jì)并實(shí)現(xiàn)了具有重復(fù)數(shù)據(jù)刪除功能的分布

3、式文件系統(tǒng)H-Dedup。根據(jù)重復(fù)數(shù)據(jù)刪除技術(shù)的特征，合理設(shè)計(jì)系統(tǒng)架構(gòu)與軟件功能模塊，使得重復(fù)數(shù)據(jù)刪除技術(shù)有效融入集群存儲(chǔ)架構(gòu)中。
　　(2)設(shè)計(jì)面向重刪的局部相似路由算法，基于數(shù)據(jù)相似理論，以超塊粒度為路由單位，并對(duì)超塊進(jìn)行采樣，選取少量特征指紋，以有狀態(tài)路由方式進(jìn)行路由匹配，減少網(wǎng)絡(luò)帶寬消耗，快速定位存儲(chǔ)位置。使得分布式存儲(chǔ)系統(tǒng)在保持較高的存儲(chǔ)性能以及吞吐率的同時(shí)，快速定位存儲(chǔ)節(jié)點(diǎn)并取得較高的數(shù)據(jù)去重率。
　　(3)為了