數(shù)據(jù)去重系統(tǒng)計算性能優(yōu)化方案的研究與實現(xiàn).pdf

1、大數(shù)據(jù)時代產(chǎn)生的海量數(shù)據(jù)存在著大量冗余。數(shù)據(jù)去重技術(shù)可以有效地消除冗余數(shù)據(jù)，從而獲得學術(shù)界和工業(yè)界的廣泛關(guān)注與應用。但是數(shù)據(jù)去重技術(shù)計算開銷過大，會對存儲系統(tǒng)性能造成明顯影響。
　　為了降低數(shù)據(jù)去重的計算開銷對存儲系統(tǒng)性能所帶來的影響，分析了數(shù)據(jù)分塊和指紋計算開銷，并探究了傳統(tǒng)的計算性能優(yōu)化方案的不足：現(xiàn)有基于多核的優(yōu)化方案中，并行化的加速方式雖然加速了基于內(nèi)容的數(shù)據(jù)分塊過程，但也破壞了數(shù)據(jù)去重基于內(nèi)容分塊的屬性，導致了去重率下降

2、的問題。
　　為了解決并行分塊帶來的去重率下降的問題，提出了并行分塊拼接策略，即在并行分塊后對數(shù)據(jù)段邊界進行分塊修訂?；谏鲜霾⑿蟹謮K拼接策略，設計并實現(xiàn)了G-Dedup，一個利用GPU并行計算特性來加速Rabin數(shù)據(jù)分塊和SHA-1指紋計算的數(shù)據(jù)去重系統(tǒng)。根據(jù)GPU的硬件特性，G-Dedup優(yōu)化Rabin數(shù)據(jù)分塊和SHA-1指紋計算的實現(xiàn)，并對Rabin數(shù)據(jù)分塊結(jié)果進行均衡負載處理，以優(yōu)化指紋計算階段的GPU計算效率。在上述基礎(chǔ)