在線重復(fù)數(shù)據(jù)刪除技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著信息化建設(shè)的不斷深入，企業(yè)數(shù)據(jù)信息量呈幾何級數(shù)增長。信息量的不斷擴(kuò)張帶來以下兩個(gè)問題：一是存在著大量的重復(fù)數(shù)據(jù)，導(dǎo)致存儲空間的大量浪費(fèi)，企業(yè)的存儲成本提高；二是高訪問量使得磁盤存儲設(shè)備逐漸成為數(shù)據(jù)中心的訪問性能瓶。針對上述問題，通過對重復(fù)數(shù)據(jù)刪除技術(shù)的研究，以及對固態(tài)硬盤性能和特性的調(diào)研，提出了一種基于Iscsi平臺的分級存儲技術(shù)與重復(fù)數(shù)據(jù)刪除技術(shù)相結(jié)合的存儲系統(tǒng)。
　　 首先，深入研究了重復(fù)數(shù)據(jù)刪除技術(shù)，采用了基于散列的重

2、復(fù)數(shù)據(jù)刪除方式，實(shí)現(xiàn)了以下基本功能：指紋計(jì)算、指紋檢索、指紋索引表管理；為了彌補(bǔ)重復(fù)數(shù)據(jù)刪除對系統(tǒng)帶來的性能損失，提出了“內(nèi)存—固態(tài)盤—磁盤”分級存儲系統(tǒng)，用固態(tài)盤充當(dāng)二級緩存，利用其讀寫性能好、容量大、非易失性等特點(diǎn)，提高系統(tǒng)整體性能；通過虛擬空間映射功能，將服務(wù)器物理磁盤虛擬為一個(gè)較大的虛擬盤，然后按分區(qū)映射給多個(gè)客戶端，實(shí)現(xiàn)單服務(wù)器——多客戶端功能。
　　 然后針對重復(fù)數(shù)據(jù)刪除功能中指紋檢索性能瓶頸，進(jìn)行了專門的算法優(yōu)化。

3、首先提出了基于布隆過濾的檢索過濾算法，過濾掉大量不必要的指紋檢索請求；然后實(shí)現(xiàn)了指紋索引表“內(nèi)存—固態(tài)盤”分級存儲策略，充分利用固態(tài)盤較好的讀性能，避免索引表存儲到磁盤，產(chǎn)生磁盤訪問性能瓶頸。
　　 最后，對分級重復(fù)數(shù)據(jù)刪除系統(tǒng)進(jìn)行了相關(guān)測試。首先對系統(tǒng)進(jìn)行了性能對比測試，結(jié)果表明，重復(fù)數(shù)據(jù)刪除功能由于計(jì)算量較大，會帶來一定的性能損失，但與分級存儲技術(shù)相結(jié)合之后，整體性能反而有一定的提升；然后對重復(fù)數(shù)據(jù)刪除的壓縮比進(jìn)行了測試，結(jié)