針對(duì)文件的在線去重系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的高速發(fā)展導(dǎo)致了信息的爆炸式增長(zhǎng)，如今的互聯(lián)網(wǎng)每天產(chǎn)生的信息總量達(dá)到EB級(jí)，如何存儲(chǔ)以及管理海量數(shù)據(jù)對(duì)于個(gè)人和企業(yè)來(lái)說(shuō)都是重大挑戰(zhàn)。雖然目前的存儲(chǔ)系統(tǒng)多種多樣，存儲(chǔ)能力也是日新月異，但將所有信息不加篩選的存儲(chǔ)顯然不是一個(gè)明智的選擇，重復(fù)數(shù)據(jù)刪除技術(shù)作為一種有效解決方案自然進(jìn)入了人們的視野。目前，去重技術(shù)在備份系統(tǒng)中已經(jīng)有了很多的應(yīng)用，相關(guān)技術(shù)已日臻完善，但在在線系統(tǒng)中卻少有涉及，由于在線系統(tǒng)的特殊性，特別是對(duì)實(shí)時(shí)性的要求，使得在線

2、系統(tǒng)中的去重技術(shù)需要解決更多的問(wèn)題。
　　針對(duì)在線存儲(chǔ)系統(tǒng)數(shù)據(jù)去重的需求，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)適用于各種主流文件系統(tǒng)的去重中間件Pbfs，Pbfs針對(duì)在線存儲(chǔ)系統(tǒng)的特點(diǎn)采用了一些特別的解決方案。首先是提出了文件分類處理的思想，不同種類的文件采用最適合它的處理方式進(jìn)行去重處理；其次是改進(jìn)相似性判定算法，提高相似數(shù)據(jù)識(shí)別的精確度；最后是元數(shù)據(jù)類動(dòng)態(tài)化，元數(shù)據(jù)是去重系統(tǒng)中重要的部分，動(dòng)態(tài)化能夠提升去重率。Pbfs中所提出的這些方案最大程度上降