備份系統(tǒng)中在線重復數(shù)據(jù)刪除優(yōu)化的研究.pdf

1、研究發(fā)現(xiàn),應用系統(tǒng)所保存的數(shù)據(jù)中高達60％是冗余的,而且隨著時間的推移越來越多。為了提高存儲效率,節(jié)約存儲容量和成本,重復數(shù)據(jù)刪除技術應運而生,并已成為近年來存儲備份系統(tǒng)研究的熱門話題。傳統(tǒng)的在線重復數(shù)據(jù)刪除技術面臨著面對大數(shù)據(jù)量時的數(shù)據(jù)指紋索引查找瓶頸問題。目前相關的解決辦法基本都是圍繞優(yōu)化索引服務器端的效率來做研究。而實際備份應用中一個普遍的現(xiàn)象是,備份用戶端的數(shù)據(jù)會隨著每天或每周一次的備份逐漸呈現(xiàn)出較強的局部相似性這一特點。利用這

2、一點,研究在備份用戶端加入本地指紋索引查找功能來緩解索引服務器壓力和減少索引查找延遲,是避免服務器索引瓶頸的一個新思路。
　　本文提出了一種源端索引策略,該策略適用于在線、源端重刪的備份系統(tǒng),在原始單純的服務器指紋索引模式上,加入了源端指紋索引模式。該模式的工作方式是在備份客戶端保存其歷史備份的數(shù)據(jù)指紋表,當選擇該模式進行指紋判重時會優(yōu)先查找備份客戶端的數(shù)據(jù)指紋表,源端索引模式在用戶備份數(shù)據(jù)的局部相似性較高的情況下可以使較多備份數(shù)

3、據(jù)在源端就能夠進行指紋判重。源端索引策略還利用布隆過濾器數(shù)據(jù)結構和文件相似性檢測的相關原理,在在線重復數(shù)據(jù)刪除中加入了一個索引模式選擇模塊,能夠在用戶備份之前根據(jù)備份文件和本地索引文件的相似性來選擇索引模式,達到了充分利用備份客戶端備份數(shù)據(jù)特性來緩解服務器索引壓力,節(jié)省帶寬和提高備份效率的目的。
　　最后采用B-Cloud數(shù)據(jù)備份系統(tǒng)進行性能測試,實驗結果表明,源端索引模式在備份客戶端數(shù)據(jù)局部相似性提高的情況下,索引效率要高于傳統(tǒng)