備份系統(tǒng)中全局?jǐn)?shù)據(jù)去重技術(shù)的研究.pdf

1、隨著數(shù)字信息的爆炸式增長(zhǎng),備份系統(tǒng)中的重復(fù)數(shù)據(jù)越來(lái)越多,造成了存儲(chǔ)資源和網(wǎng)絡(luò)帶寬的極大浪費(fèi),同時(shí)增加了處理重復(fù)數(shù)據(jù)的開(kāi)銷。數(shù)據(jù)去重技術(shù)旨在減少數(shù)據(jù)所占的存儲(chǔ)空間和通過(guò)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量,已廣泛應(yīng)用于備份系統(tǒng)中。同時(shí),數(shù)據(jù)去重作為存儲(chǔ)系統(tǒng)中的一種新興技術(shù),還有很多難題亟待解決。
　　在基于用戶的局部數(shù)據(jù)去重備份系統(tǒng)中,只能刪除用戶內(nèi)的重復(fù)數(shù)據(jù),不能刪除用戶與用戶之間的重復(fù)數(shù)據(jù),極大的浪費(fèi)了存儲(chǔ)空間和網(wǎng)絡(luò)帶寬資源。同時(shí)系統(tǒng)采用數(shù)據(jù)庫(kù)存儲(chǔ)

2、指紋導(dǎo)致指紋檢索效率十分低下。為解決局部數(shù)據(jù)去重帶來(lái)的性能問(wèn)題,采用了全局?jǐn)?shù)據(jù)去重技術(shù),旨在刪除用戶與用戶之間的重復(fù)數(shù)據(jù),提高系統(tǒng)的數(shù)據(jù)去重率,進(jìn)一步節(jié)約存儲(chǔ)空間和網(wǎng)絡(luò)帶寬資源。為提高指紋檢索效率,提出了基于最小哈希及Jaccard相似度的二級(jí)指紋索引結(jié)構(gòu),替換了數(shù)據(jù)庫(kù)存指紋的方案,使每個(gè)文件在查找指紋時(shí)只需訪問(wèn)一次磁盤(pán);為保證全局?jǐn)?shù)據(jù)在用戶之間的共享,設(shè)計(jì)和實(shí)現(xiàn)了一套多用戶并發(fā)機(jī)制來(lái)保證數(shù)據(jù)的一致性和正確性。
　　測(cè)試結(jié)果表明,