重復數(shù)據(jù)刪除

1、重復數(shù)據(jù)刪除(Deduplication)1、Dedupe概述概述Deduplication，即重復數(shù)據(jù)刪除，它是一種目前主流且非常熱門的存儲技術(shù)，可對存儲容量進行有效優(yōu)化。它通過刪除數(shù)據(jù)集中重復的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)。如下圖所示。這種技術(shù)可以很大程度上減少對物理存儲空間的需求，從而滿足日益增長的數(shù)據(jù)存儲需求。Dedupe技術(shù)可以帶許多實際的利益，主要包括以下諸多方面：(1)滿足ROI(投資回報率，ReturnOnIn

2、vestment)TCO(總持有成本，TotalCostofOwnership)需求；(2)可以有效控制數(shù)據(jù)的急劇增長；(3)增加有效存儲空間，提高存儲效率；(4)節(jié)省存儲總成本和管理成本；(5)節(jié)省數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)帶寬；(6)節(jié)省空間、電力供應、冷卻等運維成本。Dedupe技術(shù)目前大量應用于數(shù)據(jù)備份與歸檔系統(tǒng)，因為對數(shù)據(jù)進行多次備份后，存在大量重復數(shù)據(jù)，非常適合這種技術(shù)。事實上，dedupe技術(shù)可以用于很多場合，包括在線數(shù)據(jù)、近線數(shù)據(jù)、

3、離線數(shù)據(jù)存儲系統(tǒng)，可以在文件系統(tǒng)、卷管理器、NAS、SAN中實施。Dedupe也可以用于數(shù)據(jù)容災、數(shù)據(jù)傳輸與同步，作為一種數(shù)據(jù)壓縮技術(shù)可用于數(shù)據(jù)打包。Dedupe技術(shù)可以幫助眾多應用降低數(shù)據(jù)存儲量，節(jié)省網(wǎng)絡(luò)帶寬，提高存儲效率、減小備份窗口，節(jié)省成本。Dedupe的衡量維度主要有兩個，即重復數(shù)據(jù)刪除率(deduplocationratios)和性能。Dedupe性能取決于具體實現(xiàn)技術(shù)，而重復數(shù)據(jù)刪除率則由數(shù)據(jù)自身的特征和應用模式所決定，影

4、響因素如下表[2]所示。目前各存儲廠商公布的重復數(shù)據(jù)刪除率從20:1到500:1不等。高重復數(shù)據(jù)刪除率高重復數(shù)據(jù)刪除率低重復數(shù)據(jù)刪除率低重復數(shù)據(jù)刪除率(4)How：如何進行消重？：如何進行消重？重復數(shù)據(jù)刪除技術(shù)包含許多技術(shù)實現(xiàn)細節(jié)，包括文件如何進行切分？數(shù)據(jù)塊指紋如何計算？如何進行數(shù)據(jù)塊檢索？采用相同數(shù)據(jù)檢測還是采用相似數(shù)據(jù)檢測和差異編碼技術(shù)？數(shù)據(jù)內(nèi)容是否可以感知，是否需要對內(nèi)容進行解析？這些都是Dedupe具體實現(xiàn)息息相關(guān)。本文主要研

5、究相同數(shù)據(jù)檢測技術(shù)，基于二進制文件進行消重處理，具有更廣泛的適用性。3、Dedupe關(guān)鍵技術(shù)關(guān)鍵技術(shù)存儲系統(tǒng)的重復數(shù)據(jù)刪除過程一般是這樣的：首先將數(shù)據(jù)文件分割成一組數(shù)據(jù)塊，為每個數(shù)據(jù)塊計算指紋，然后以指紋為關(guān)鍵字進行Hash查找，匹配則表示該數(shù)據(jù)塊為重復數(shù)據(jù)塊，僅存儲數(shù)據(jù)塊索引號，否則則表示該數(shù)據(jù)塊是一個新的唯一塊，對數(shù)據(jù)塊進行存儲并創(chuàng)建相關(guān)元信息。這樣，一個物理文件在存儲系統(tǒng)就對應一個邏輯表示，由一組FP組成的元數(shù)據(jù)。當進行讀取文件時

6、，先讀取邏輯文件，然后根據(jù)FP序列，從存儲系統(tǒng)中取出相應數(shù)據(jù)塊，還原物理文件副本。從如上過程中可以看出，Dedupe的關(guān)鍵技術(shù)主要包括文件數(shù)據(jù)塊切分、數(shù)據(jù)塊指紋計算和數(shù)據(jù)塊檢索。(1)文件數(shù)據(jù)塊切分文件數(shù)據(jù)塊切分Dedupe按照消重的粒度可以分為文件級和數(shù)據(jù)塊級。文件級的dedupe技術(shù)也稱為單一實例存儲(SISSingleInstanceSte)，數(shù)據(jù)塊級的重復數(shù)據(jù)刪除其消重粒度更小，可以達到424KB之間。顯然，數(shù)據(jù)塊級的可以提供更

7、高的數(shù)據(jù)消重率，因此目前主流的dedupe產(chǎn)品都是數(shù)據(jù)塊級的。數(shù)據(jù)分塊算法主要有三種，即定長切分(fixedsizepartition)、CDC切分(contentdefinedchunking)和滑動塊(slidingblock)切分。定長分塊算法采用預先義好的塊大小對文件進行切分，并進行弱校驗值和md5強校驗值。弱校驗值主要是為了提升差異編碼的性能，先計算弱校驗值并進行hash查找，如果發(fā)現(xiàn)則計算md5強校驗值并作進一步hash查找

8、。由于弱校驗值計算量要比md5小很多，因此可以有效提高編碼性能。定長分塊算法的優(yōu)點是簡單、性能高，但它對數(shù)據(jù)插入和刪除非常敏感，處理十分低效，不能根據(jù)內(nèi)容變化作調(diào)整和優(yōu)化。Deduputil中FSP分塊算法代碼如下。[cpp:collapse]expsourceviewplaincopyprint1.2.fixedsizedfilechunking3.4.staticintfile_chunk_fsp(intfdintfd_ldatai