面向云存儲的重復(fù)數(shù)據(jù)刪除技術(shù)研究與應(yīng)用.pdf

1、隨著信息技術(shù)的不斷向前發(fā)展，以及IT技術(shù)與傳統(tǒng)行業(yè)互相碰撞與融合，促使當(dāng)今的數(shù)據(jù)量出現(xiàn)爆發(fā)式增長，使得數(shù)據(jù)存儲規(guī)模遠遠超過物理存儲硬件的發(fā)展，給存儲服務(wù)中心帶來了巨大的壓力。根據(jù)存儲數(shù)據(jù)研究表明，海量的存儲數(shù)據(jù)中存在很大比率的重復(fù)數(shù)據(jù)。由于重復(fù)數(shù)據(jù)刪除技術(shù)能夠通過比對指紋進行查重，使得存儲容量縮減到原有的幾十分之一，物理存儲設(shè)備的利用率和存儲系統(tǒng)的數(shù)據(jù)存儲效率獲得極大的提升，這對于當(dāng)前嚴重的數(shù)據(jù)存儲瓶頸來說，是一種非常有效的解決辦法。但

2、是海量的存儲數(shù)據(jù)使得其相應(yīng)生成的指紋索引也同樣龐大，如果存儲系統(tǒng)通過全索引方法進行去重，其所花費的代價遠遠高于去重帶來的優(yōu)勢，從而影響存儲系統(tǒng)的服務(wù)性能。因此指紋數(shù)據(jù)的快速索引成為影響重復(fù)數(shù)據(jù)刪除技術(shù)運用與發(fā)展的關(guān)鍵因素。
　　本文以構(gòu)建適用于集群環(huán)境的重復(fù)數(shù)據(jù)刪除技術(shù)為主要應(yīng)用目標(biāo)，通過詳細研究和分析目前重復(fù)數(shù)據(jù)刪除的關(guān)鍵技術(shù)，針對重復(fù)數(shù)據(jù)刪除引發(fā)系統(tǒng)索引性能瓶頸的現(xiàn)狀，提出一種基于文件相似度的抽樣重刪索引算法(Sampling

3、 De-duplication Based on Similarity，SDBS)。SDBS算法著眼于云存儲環(huán)境，從提高系統(tǒng)整體性能的目標(biāo)出發(fā)，在充分保證一定重刪率的基礎(chǔ)上，通過基于文件級別的抽樣來減少抽樣范圍，從而降低指紋索引查找比對的范圍和次數(shù)。針對基于抽樣機制的重復(fù)數(shù)據(jù)刪除可能降低系統(tǒng)的重刪率以及主節(jié)點負載過重的問題，SDBS算法在達到相應(yīng)文件相似度的閾值時，通過深度重刪來維持系統(tǒng)較好的重刪率，同時將深度數(shù)據(jù)查重的任務(wù)分配給集群各