相鄰重復(fù)數(shù)據(jù)塊相似性去重性能優(yōu)化研究與實現(xiàn).pdf

1、但是如果直接刪除該數(shù)據(jù)塊可能會引起系統(tǒng)抖動，為防止系統(tǒng)出現(xiàn)抖動，再次引入前文中設(shè)置的時間參數(shù)和歷史參數(shù)，避免刪除當(dāng)期被引用過的數(shù)據(jù)。
　　本文結(jié)合分布式平臺Hadoop構(gòu)建實現(xiàn)了本方案。通過實驗表明在引入布隆過濾器之后四次測驗系統(tǒng)平均吞吐率從756.3MB/S提高到832.5MB/S，提升了10.08％；對比DDFS Indexing和Extreme Binning的重復(fù)數(shù)據(jù)刪除率和吞吐率，Adj-Dedup的重復(fù)數(shù)據(jù)刪除率高于E

2、xtreme Binning略低于DDFS Indexing，而Adj-Dedup的吞吐率高于800MB/S，Extreme Binning約為500MB/S，而DDFS Indexing吞吐率低于200MB/S。本文所設(shè)計的重復(fù)數(shù)據(jù)刪除方案，具有較好的系統(tǒng)性能。
　　隨著信息全球化的到來，全球數(shù)據(jù)總量呈爆炸式增長，然而物理存儲資源的增長速度遠(yuǎn)低于數(shù)據(jù)總量的增長速度，傳統(tǒng)的存儲方式也亟待改進(jìn)。根據(jù)統(tǒng)計，存儲系統(tǒng)中存在著大量的冗余數(shù)

3、據(jù)，正是這些相同或者相似的冗余數(shù)據(jù)導(dǎo)致了數(shù)據(jù)總量的爆炸增長。重復(fù)數(shù)據(jù)的刪除技術(shù)可以有效識別并刪除存儲系統(tǒng)中的重復(fù)數(shù)據(jù)，因此在各個存儲相關(guān)領(lǐng)域中被普遍運用。但是作為一種新興的技術(shù)，依然存在有很多需要改進(jìn)的地方，如重復(fù)數(shù)據(jù)刪除索引在未命中的情況下的額外開銷、低效率的相似檢測方案以及對于零引用數(shù)據(jù)塊的存儲造成的資源浪費等。針對文件備份系統(tǒng)，為了改進(jìn)以上不足，從而提升系統(tǒng)性能，設(shè)計提出了基于重復(fù)數(shù)據(jù)塊相鄰數(shù)據(jù)塊相似性的重復(fù)數(shù)據(jù)刪除方案。

4、　　重復(fù)數(shù)據(jù)的刪除系統(tǒng)首先要將數(shù)據(jù)流進(jìn)行一定處理——數(shù)據(jù)分塊，使其能夠更好地進(jìn)行重復(fù)數(shù)據(jù)檢測。由于不同的分塊算法，所得到的數(shù)據(jù)塊會有很大區(qū)別，并且會直接影響到刪除重復(fù)的數(shù)據(jù)的效果。通過對不同分塊算法對比后，本文所設(shè)計的方案選擇滑動塊技術(shù)對數(shù)據(jù)流進(jìn)行劃分。在對數(shù)據(jù)塊進(jìn)行檢索之前需要對數(shù)據(jù)塊進(jìn)行散列運算得到其指紋。指紋代表著與之對應(yīng)的數(shù)據(jù)塊，是進(jìn)行重復(fù)檢測的基本單位。不同的散列運算算法計算出的指紋的精度也有不同，并且發(fā)生哈希碰撞的可能性也有

5、區(qū)別。本文選用160位的SHA-1安全哈希算法，其發(fā)生哈希碰撞的概率分布區(qū)間為2-55－2-75，能夠滿足系統(tǒng)的需要。由于在PB級存儲系統(tǒng)中，其指紋索引過大無法完全存放在內(nèi)存中，導(dǎo)致需要訪問硬盤，這就給檢索帶來了更多的開銷。對此引入Bloom Filter。Bloom Filter能夠快速的判斷某個元素滿足某集合與否。
　　在進(jìn)行重復(fù)數(shù)據(jù)刪除相同檢測之后，系統(tǒng)中依然存儲有海量的相似數(shù)據(jù)。如果對所有數(shù)據(jù)塊都進(jìn)行相似檢測是不實際的。為

6、了更好更高效的檢測相似數(shù)據(jù)，本文建立了一個數(shù)據(jù)塊價值評價模型，基于此設(shè)定了一個相似檢測的閾值。相似檢測的閾值是根據(jù)數(shù)據(jù)塊在某一期的熱度值和前一期的歷史價值以及重復(fù)率計算得出。其中熱度值是通過該數(shù)據(jù)塊在這一期的被引用次數(shù)和最后訪問時間計算得出。前一期的歷史價值是根據(jù)前一期該數(shù)據(jù)塊的熱度值乘以一個控制參數(shù)計算得出，是為了防止發(fā)生抖動而提出的。通過相似檢測閾值判定數(shù)據(jù)塊是否需要進(jìn)行相似度檢測，從而提高相似檢測的效率。
　　在進(jìn)行重復(fù)的數(shù)

7、據(jù)刪除之后，系統(tǒng)中仍然會存在零引用的數(shù)據(jù)塊。這些零引用的數(shù)據(jù)塊需要進(jìn)行清理。通過之前設(shè)定的序數(shù)參數(shù)可以判定數(shù)據(jù)塊是否是零引用，即當(dāng)序數(shù)參數(shù)等于零的時候，則表明該數(shù)據(jù)塊沒有被引用，所以可以被清理。但是如果直接刪除該數(shù)據(jù)塊可能會引起系統(tǒng)抖動，為防止系統(tǒng)出現(xiàn)抖動，再次引入前文中設(shè)置的時間參數(shù)和歷史參數(shù)，避免刪除當(dāng)期被引用過的數(shù)據(jù)。
　　本文結(jié)合分布式平臺Hadoop構(gòu)建實現(xiàn)了本方案。通過實驗表明在引入布隆過濾器之后四次測驗系統(tǒng)平均吞吐率

8、從756.3MB/S提高到832.5MB/S，提升了10.08%；對比DDFS Indexing和Extreme Binning的重復(fù)數(shù)據(jù)刪除率和吞吐率，Adj-Dedup的重復(fù)數(shù)據(jù)刪除率高于Extreme Binning略低于DDFS Indexing，而Adj-Dedup的吞吐率高于800MB/S，Extreme Binning約為500MB/S，而DDFS Indexing吞吐率低于200MB/S。本文所設(shè)計的重復(fù)數(shù)據(jù)刪除方案，具