重復(fù)數(shù)據(jù)刪除

1、重復(fù)數(shù)據(jù)刪除(Deduplication)1、Dedupe概述概述Deduplication，即重復(fù)數(shù)據(jù)刪除，它是一種目前主流且非常熱門的存儲(chǔ)技術(shù)，可對(duì)存儲(chǔ)容量進(jìn)行有效優(yōu)化。它通過刪除數(shù)據(jù)集中重復(fù)的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。如下圖所示。這種技術(shù)可以很大程度上減少對(duì)物理存儲(chǔ)空間的需求，從而滿足日益增長的數(shù)據(jù)存儲(chǔ)需求。Dedupe技術(shù)可以帶許多實(shí)際的利益，主要包括以下諸多方面：(1)滿足ROI(投資回報(bào)率，ReturnOnIn

2、vestment)TCO(總持有成本，TotalCostofOwnership)需求；(2)可以有效控制數(shù)據(jù)的急劇增長；(3)增加有效存儲(chǔ)空間，提高存儲(chǔ)效率；(4)節(jié)省存儲(chǔ)總成本和管理成本；(5)節(jié)省數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)帶寬；(6)節(jié)省空間、電力供應(yīng)、冷卻等運(yùn)維成本。Dedupe技術(shù)目前大量應(yīng)用于數(shù)據(jù)備份與歸檔系統(tǒng)，因?yàn)閷?duì)數(shù)據(jù)進(jìn)行多次備份后，存在大量重復(fù)數(shù)據(jù)，非常適合這種技術(shù)。事實(shí)上，dedupe技術(shù)可以用于很多場(chǎng)合，包括在線數(shù)據(jù)、近線數(shù)據(jù)、

3、離線數(shù)據(jù)存儲(chǔ)系統(tǒng)，可以在文件系統(tǒng)、卷管理器、NAS、SAN中實(shí)施。Dedupe也可以用于數(shù)據(jù)容災(zāi)、數(shù)據(jù)傳輸與同步，作為一種數(shù)據(jù)壓縮技術(shù)可用于數(shù)據(jù)打包。Dedupe技術(shù)可以幫助眾多應(yīng)用降低數(shù)據(jù)存儲(chǔ)量，節(jié)省網(wǎng)絡(luò)帶寬，提高存儲(chǔ)效率、減小備份窗口，節(jié)省成本。Dedupe的衡量維度主要有兩個(gè)，即重復(fù)數(shù)據(jù)刪除率(deduplocationratios)和性能。Dedupe性能取決于具體實(shí)現(xiàn)技術(shù)，而重復(fù)數(shù)據(jù)刪除率則由數(shù)據(jù)自身的特征和應(yīng)用模式所決定，影

4、響因素如下表[2]所示。目前各存儲(chǔ)廠商公布的重復(fù)數(shù)據(jù)刪除率從20:1到500:1不等。高重復(fù)數(shù)據(jù)刪除率高重復(fù)數(shù)據(jù)刪除率低重復(fù)數(shù)據(jù)刪除率低重復(fù)數(shù)據(jù)刪除率(4)How：如何進(jìn)行消重？：如何進(jìn)行消重？重復(fù)數(shù)據(jù)刪除技術(shù)包含許多技術(shù)實(shí)現(xiàn)細(xì)節(jié)，包括文件如何進(jìn)行切分？數(shù)據(jù)塊指紋如何計(jì)算？如何進(jìn)行數(shù)據(jù)塊檢索？采用相同數(shù)據(jù)檢測(cè)還是采用相似數(shù)據(jù)檢測(cè)和差異編碼技術(shù)？數(shù)據(jù)內(nèi)容是否可以感知，是否需要對(duì)內(nèi)容進(jìn)行解析？這些都是Dedupe具體實(shí)現(xiàn)息息相關(guān)。本文主要研

5、究相同數(shù)據(jù)檢測(cè)技術(shù)，基于二進(jìn)制文件進(jìn)行消重處理，具有更廣泛的適用性。3、Dedupe關(guān)鍵技術(shù)關(guān)鍵技術(shù)存儲(chǔ)系統(tǒng)的重復(fù)數(shù)據(jù)刪除過程一般是這樣的：首先將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為每個(gè)數(shù)據(jù)塊計(jì)算指紋，然后以指紋為關(guān)鍵字進(jìn)行Hash查找，匹配則表示該數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊，僅存儲(chǔ)數(shù)據(jù)塊索引號(hào)，否則則表示該數(shù)據(jù)塊是一個(gè)新的唯一塊，對(duì)數(shù)據(jù)塊進(jìn)行存儲(chǔ)并創(chuàng)建相關(guān)元信息。這樣，一個(gè)物理文件在存儲(chǔ)系統(tǒng)就對(duì)應(yīng)一個(gè)邏輯表示，由一組FP組成的元數(shù)據(jù)。當(dāng)進(jìn)行讀取文件時(shí)

6、，先讀取邏輯文件，然后根據(jù)FP序列，從存儲(chǔ)系統(tǒng)中取出相應(yīng)數(shù)據(jù)塊，還原物理文件副本。從如上過程中可以看出，Dedupe的關(guān)鍵技術(shù)主要包括文件數(shù)據(jù)塊切分、數(shù)據(jù)塊指紋計(jì)算和數(shù)據(jù)塊檢索。(1)文件數(shù)據(jù)塊切分文件數(shù)據(jù)塊切分Dedupe按照消重的粒度可以分為文件級(jí)和數(shù)據(jù)塊級(jí)。文件級(jí)的dedupe技術(shù)也稱為單一實(shí)例存儲(chǔ)(SISSingleInstanceSte)，數(shù)據(jù)塊級(jí)的重復(fù)數(shù)據(jù)刪除其消重粒度更小，可以達(dá)到424KB之間。顯然，數(shù)據(jù)塊級(jí)的可以提供更

7、高的數(shù)據(jù)消重率，因此目前主流的dedupe產(chǎn)品都是數(shù)據(jù)塊級(jí)的。數(shù)據(jù)分塊算法主要有三種，即定長切分(fixedsizepartition)、CDC切分(contentdefinedchunking)和滑動(dòng)塊(slidingblock)切分。定長分塊算法采用預(yù)先義好的塊大小對(duì)文件進(jìn)行切分，并進(jìn)行弱校驗(yàn)值和md5強(qiáng)校驗(yàn)值。弱校驗(yàn)值主要是為了提升差異編碼的性能，先計(jì)算弱校驗(yàn)值并進(jìn)行hash查找，如果發(fā)現(xiàn)則計(jì)算md5強(qiáng)校驗(yàn)值并作進(jìn)一步hash查找

8、。由于弱校驗(yàn)值計(jì)算量要比md5小很多，因此可以有效提高編碼性能。定長分塊算法的優(yōu)點(diǎn)是簡單、性能高，但它對(duì)數(shù)據(jù)插入和刪除非常敏感，處理十分低效，不能根據(jù)內(nèi)容變化作調(diào)整和優(yōu)化。Deduputil中FSP分塊算法代碼如下。[cpp:collapse]expsourceviewplaincopyprint1.2.fixedsizedfilechunking3.4.staticintfile_chunk_fsp(intfdintfd_ldatai