一種基于重復(fù)數(shù)據(jù)刪除的備份系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息化程度的不斷提高，數(shù)據(jù)對(duì)于企業(yè)的重要性愈發(fā)凸顯。由于企業(yè)日常生產(chǎn)過(guò)程中會(huì)產(chǎn)生了大量的生產(chǎn)數(shù)據(jù)，尤其是近年來(lái)，海量數(shù)據(jù)的爆炸性增長(zhǎng)對(duì)數(shù)據(jù)中心的存儲(chǔ)能力提出了更高的要求。統(tǒng)計(jì)數(shù)據(jù)表明，企業(yè)日常新增海量數(shù)據(jù)之間存在著許多相似的數(shù)據(jù)，為此，提出了重復(fù)數(shù)據(jù)刪除技術(shù)。當(dāng)前，采用重復(fù)數(shù)據(jù)刪除技術(shù)以改進(jìn)數(shù)據(jù)存儲(chǔ)效率、提高海量數(shù)據(jù)處理性能具有重要的理論和實(shí)用價(jià)值。
　　 本文設(shè)計(jì)了一種基于重復(fù)數(shù)據(jù)刪除的文件備份系統(tǒng)，該系統(tǒng)能夠有效地對(duì)文件

2、進(jìn)行存儲(chǔ)并壓縮從而節(jié)約存儲(chǔ)空間，并且，在數(shù)據(jù)壓縮同時(shí)也能夠節(jié)省傳輸帶寬，可以讓各個(gè)版本的數(shù)據(jù)在存儲(chǔ)器上有效保存，降低磁盤(pán)開(kāi)銷(xiāo)。
　　 基于重復(fù)數(shù)據(jù)刪除的文件備份系統(tǒng)在功能點(diǎn)上可以分為兩大功能模塊：重復(fù)數(shù)據(jù)刪除模塊，用于實(shí)現(xiàn)文件分塊以及數(shù)據(jù)消重；性能改進(jìn)模塊，用于實(shí)現(xiàn)預(yù)處理功能和負(fù)載均衡。
　　 在重復(fù)數(shù)據(jù)刪除模塊中，為了滿(mǎn)足對(duì)文件數(shù)據(jù)變化敏感度低的性能需求，文件分塊模塊設(shè)計(jì)采用的是變長(zhǎng)分塊模式，從而保證了各個(gè)版本文件分成

3、的塊之間相似性更大。在系統(tǒng)消重模塊，引入了BloomFilter算法，以O(shè)（1）的時(shí)間復(fù)雜度完成一次判重處理，該算法在效率上比傳統(tǒng)使用數(shù)據(jù)庫(kù)進(jìn)行消重快許多。雖然Bloom Filter有一定的誤判率，但是經(jīng)理論論證與實(shí)驗(yàn)表明，當(dāng)其處理數(shù)據(jù)在一定的范圍內(nèi)，誤判率的大小仍然是可控的。
　　 在系統(tǒng)的性能改進(jìn)模塊，定義了一種數(shù)據(jù)結(jié)構(gòu)——目錄層級(jí)哈希樹(shù)，使用該數(shù)據(jù)結(jié)構(gòu)對(duì)待備份目錄樹(shù)進(jìn)行判重剪枝，以縮短備份時(shí)間。對(duì)系統(tǒng)的服務(wù)器端加入了分布