信息存儲(chǔ)系統(tǒng)中重復(fù)數(shù)據(jù)刪除技術(shù)的研究.pdf

1、重復(fù)數(shù)據(jù)刪除技術(shù)是網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中一種數(shù)據(jù)無(wú)損壓縮的解決方案，可以有效地抑制數(shù)據(jù)存儲(chǔ)開銷過(guò)快的增長(zhǎng)，縮減存儲(chǔ)系統(tǒng)的構(gòu)建以及運(yùn)營(yíng)管理的成本。在數(shù)據(jù)信息量迅猛增長(zhǎng)的背景下，重復(fù)數(shù)據(jù)刪除技術(shù)得到了學(xué)術(shù)界和產(chǎn)業(yè)界廣泛的關(guān)注。但重復(fù)數(shù)據(jù)刪除領(lǐng)域仍然存在諸多技術(shù)問(wèn)題，如提高數(shù)據(jù)壓縮率，減少處理時(shí)間，優(yōu)化數(shù)據(jù)可靠性等方面。針對(duì)上述存在的問(wèn)題，論文從重復(fù)數(shù)據(jù)刪除處理方法，重復(fù)數(shù)據(jù)刪除處理中的數(shù)據(jù)可靠性問(wèn)題以及存儲(chǔ)后臺(tái)的數(shù)據(jù)分布策略三個(gè)方面展開了深入的研究

2、。
　　通過(guò)理論分析模型以及現(xiàn)實(shí)數(shù)據(jù)集的實(shí)測(cè)分析，對(duì)影響重復(fù)數(shù)據(jù)刪除處理效果的因素展開了研究。目標(biāo)數(shù)據(jù)的重復(fù)特征對(duì)重復(fù)數(shù)據(jù)刪除處理的效果具有較大影響，因此，提出了一種基于重復(fù)特征的重復(fù)數(shù)據(jù)刪除策略，對(duì)數(shù)據(jù)壓縮率以及處理時(shí)間開銷進(jìn)行優(yōu)化。該策略主要包括基于語(yǔ)義的數(shù)據(jù)分組策略和漸進(jìn)式數(shù)據(jù)分割粒度判定法?；谡Z(yǔ)義的數(shù)據(jù)分組策略根據(jù)語(yǔ)義信息對(duì)數(shù)據(jù)的重復(fù)特征以及相似性進(jìn)行判別并完成對(duì)目標(biāo)數(shù)據(jù)的分組操作。漸進(jìn)式數(shù)據(jù)分割粒度判定法是以數(shù)據(jù)分組為

3、操作單位，根據(jù)重復(fù)特征對(duì)數(shù)據(jù)分割策略進(jìn)行合適地設(shè)置。實(shí)驗(yàn)測(cè)試表明基于重復(fù)特征的重復(fù)數(shù)據(jù)刪除策略相對(duì)于其它重復(fù)數(shù)據(jù)刪除解決方案，在數(shù)據(jù)壓縮率以及處理時(shí)間開銷上獲得了更加優(yōu)異的綜合性能。
　　針對(duì)重復(fù)數(shù)據(jù)刪除處理中數(shù)據(jù)可靠性的問(wèn)題提出了一種最優(yōu)冗余度計(jì)算模型，根據(jù)數(shù)據(jù)的引用熱度提高目標(biāo)數(shù)據(jù)的可靠性。為了將該理論模型應(yīng)用到現(xiàn)實(shí)存儲(chǔ)系統(tǒng)中，采用抽取數(shù)據(jù)單元樣本空間計(jì)算經(jīng)驗(yàn)數(shù)值的方法對(duì)理論模型進(jìn)行了可行性優(yōu)化，并提出一種基于引用熱度的數(shù)據(jù)冗

4、余策略。該數(shù)據(jù)冗余策略根據(jù)數(shù)據(jù)單元的相關(guān)屬性（數(shù)據(jù)單元的大小以及引用熱度）配置最優(yōu)的冗余度，確保目標(biāo)數(shù)據(jù)集使用最小的存儲(chǔ)開銷獲得最優(yōu)的數(shù)據(jù)可靠性。仿真實(shí)驗(yàn)驗(yàn)證了基于引用熱度的數(shù)據(jù)冗余策略的可行性和有效性。
　　針對(duì)當(dāng)前數(shù)據(jù)分布策略中靈活性不足的問(wèn)題，提出了一種基于容量感知的數(shù)據(jù)分布策略，以改善在物理節(jié)點(diǎn)間存儲(chǔ)資源不相等的情況下存儲(chǔ)負(fù)載的均衡程度。該策略提供了兩種情況下的數(shù)據(jù)分布策略解決方案。在不考慮數(shù)據(jù)冗余度情況下，提出了一種基于