面向云存儲(chǔ)的重復(fù)數(shù)據(jù)刪除技術(shù)研究與應(yīng)用.pdf

1、隨著信息技術(shù)的不斷向前發(fā)展，以及IT技術(shù)與傳統(tǒng)行業(yè)互相碰撞與融合，促使當(dāng)今的數(shù)據(jù)量出現(xiàn)爆發(fā)式增長(zhǎng)，使得數(shù)據(jù)存儲(chǔ)規(guī)模遠(yuǎn)遠(yuǎn)超過(guò)物理存儲(chǔ)硬件的發(fā)展，給存儲(chǔ)服務(wù)中心帶來(lái)了巨大的壓力。根據(jù)存儲(chǔ)數(shù)據(jù)研究表明，海量的存儲(chǔ)數(shù)據(jù)中存在很大比率的重復(fù)數(shù)據(jù)。由于重復(fù)數(shù)據(jù)刪除技術(shù)能夠通過(guò)比對(duì)指紋進(jìn)行查重，使得存儲(chǔ)容量縮減到原有的幾十分之一，物理存儲(chǔ)設(shè)備的利用率和存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)效率獲得極大的提升，這對(duì)于當(dāng)前嚴(yán)重的數(shù)據(jù)存儲(chǔ)瓶頸來(lái)說(shuō)，是一種非常有效的解決辦法。但

2、是海量的存儲(chǔ)數(shù)據(jù)使得其相應(yīng)生成的指紋索引也同樣龐大，如果存儲(chǔ)系統(tǒng)通過(guò)全索引方法進(jìn)行去重，其所花費(fèi)的代價(jià)遠(yuǎn)遠(yuǎn)高于去重帶來(lái)的優(yōu)勢(shì)，從而影響存儲(chǔ)系統(tǒng)的服務(wù)性能。因此指紋數(shù)據(jù)的快速索引成為影響重復(fù)數(shù)據(jù)刪除技術(shù)運(yùn)用與發(fā)展的關(guān)鍵因素。
　　本文以構(gòu)建適用于集群環(huán)境的重復(fù)數(shù)據(jù)刪除技術(shù)為主要應(yīng)用目標(biāo)，通過(guò)詳細(xì)研究和分析目前重復(fù)數(shù)據(jù)刪除的關(guān)鍵技術(shù)，針對(duì)重復(fù)數(shù)據(jù)刪除引發(fā)系統(tǒng)索引性能瓶頸的現(xiàn)狀，提出一種基于文件相似度的抽樣重刪索引算法(Sampling

3、 De-duplication Based on Similarity，SDBS)。SDBS算法著眼于云存儲(chǔ)環(huán)境，從提高系統(tǒng)整體性能的目標(biāo)出發(fā)，在充分保證一定重刪率的基礎(chǔ)上，通過(guò)基于文件級(jí)別的抽樣來(lái)減少抽樣范圍，從而降低指紋索引查找比對(duì)的范圍和次數(shù)。針對(duì)基于抽樣機(jī)制的重復(fù)數(shù)據(jù)刪除可能降低系統(tǒng)的重刪率以及主節(jié)點(diǎn)負(fù)載過(guò)重的問(wèn)題，SDBS算法在達(dá)到相應(yīng)文件相似度的閾值時(shí)，通過(guò)深度重刪來(lái)維持系統(tǒng)較好的重刪率，同時(shí)將深度數(shù)據(jù)查重的任務(wù)分配給集群各