重復(fù)數(shù)據(jù)刪除系統(tǒng)的性能優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和信息技術(shù)的更新和發(fā)展,企業(yè)越來越意識(shí)到信息的載體-數(shù)據(jù)對于企業(yè)發(fā)展所起到的決定性作用。進(jìn)入大數(shù)據(jù)時(shí)代,數(shù)據(jù)的爆炸式增長使得重復(fù)數(shù)據(jù)刪除技術(shù)受到包括學(xué)術(shù)界和商業(yè)領(lǐng)域越來越多的關(guān)注。去重率是具有重復(fù)數(shù)據(jù)刪除功能的存儲(chǔ)系統(tǒng)必須考慮的一個(gè)重要因素。因?yàn)槭腔谖募南嗨菩?索引方式Extreme Binning有可能會(huì)因?yàn)槲募g缺乏相似性而導(dǎo)致不能識(shí)別和消除大量重復(fù)數(shù)據(jù)。數(shù)據(jù)碎片是重復(fù)數(shù)據(jù)刪除系統(tǒng)中另一個(gè)急需解決的問題,

2、它會(huì)影響系統(tǒng)的讀性能,導(dǎo)致重復(fù)數(shù)據(jù)刪除系統(tǒng)的恢復(fù)性能不好。
　　為了進(jìn)一步提升去重率,設(shè)計(jì)并實(shí)現(xiàn)了一種新的索引方式-Segment Index,不同于Extreme Binning,Segment Index基于段的相似性,而不是傳統(tǒng)的文件相似性,因此能夠更好地挖掘數(shù)據(jù)塊之間的相似性,從而在消耗更少系統(tǒng)負(fù)載的前提下提供更高的去重率。為了解決重復(fù)數(shù)據(jù)刪除系統(tǒng)帶來的數(shù)據(jù)塊碎片問題,設(shè)計(jì)并實(shí)現(xiàn)了一種重寫策略-CFL(Chunk Frag