集群重刪系統(tǒng)數(shù)據(jù)路由機(jī)制的優(yōu)化研究.pdf

1、大數(shù)據(jù)時(shí)代，全球數(shù)據(jù)量高速增長，給個(gè)人、企業(yè)和數(shù)據(jù)中心數(shù)據(jù)的管理和保護(hù)帶來重大挑戰(zhàn)。重復(fù)數(shù)據(jù)刪除技術(shù)作為一種高效的數(shù)據(jù)縮減技術(shù)被廣泛應(yīng)用于數(shù)據(jù)備份領(lǐng)域，隨著系統(tǒng)規(guī)模的擴(kuò)大和數(shù)據(jù)量的不斷增長，為滿足備份系統(tǒng)在吞吐量和可擴(kuò)展性上的需求，出現(xiàn)了集群重復(fù)數(shù)據(jù)刪除系統(tǒng)。然而，集群重復(fù)數(shù)據(jù)刪除系統(tǒng)不僅面對(duì)著傳統(tǒng)重復(fù)數(shù)據(jù)刪除技術(shù)所面臨的指紋索引磁盤瓶頸和個(gè)人設(shè)備計(jì)算資源不足的難題，還面臨因只對(duì)集群節(jié)點(diǎn)內(nèi)部數(shù)據(jù)進(jìn)行獨(dú)立消重而導(dǎo)致的集群重復(fù)數(shù)據(jù)刪除服務(wù)器

2、節(jié)點(diǎn)信息孤島問題。針對(duì)以上難題和挑戰(zhàn)，本文在全面了解當(dāng)前重復(fù)數(shù)據(jù)刪除技術(shù)發(fā)展的基礎(chǔ)上，針對(duì)特定的應(yīng)用環(huán)境，提出了兩種不同的集群重復(fù)數(shù)據(jù)刪除系統(tǒng)路由優(yōu)化策略，主要工作和創(chuàng)新如下：
　　首先，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)集群重復(fù)數(shù)據(jù)刪除原型系統(tǒng)，包括備份終端、元數(shù)據(jù)管理服務(wù)器和多個(gè)集群重復(fù)數(shù)據(jù)刪除服務(wù)器節(jié)點(diǎn)。備份終端將文件按照固定大小分塊方式進(jìn)行分塊，然后使用強(qiáng)抗沖突哈希算法計(jì)算數(shù)據(jù)塊指紋，再將多個(gè)數(shù)據(jù)塊聚合成超塊進(jìn)行路由以減小通信開銷；元數(shù)據(jù)管理

3、服務(wù)器進(jìn)行文件備份的會(huì)話管理并存儲(chǔ)備份文件的元數(shù)據(jù)信息；集群重復(fù)數(shù)據(jù)刪除服務(wù)器節(jié)點(diǎn)負(fù)責(zé)指紋匹配和數(shù)據(jù)塊的存儲(chǔ)。
　　其次，針對(duì)數(shù)據(jù)中心數(shù)據(jù)備份過程中與集群重復(fù)數(shù)據(jù)刪除系統(tǒng)節(jié)點(diǎn)的通信開銷進(jìn)行優(yōu)化，提出基于應(yīng)用感知的路由機(jī)制AR-Dedupe。通過添加路由服務(wù)器節(jié)點(diǎn)保存歷史超塊路由節(jié)點(diǎn)信息和存儲(chǔ)節(jié)點(diǎn)的負(fù)載狀況，來指導(dǎo)新的超塊路由，有效減少節(jié)點(diǎn)間通信開銷的同時(shí)獲得了較高的全局?jǐn)?shù)據(jù)縮減率，并且能夠很好的保持系統(tǒng)節(jié)點(diǎn)的負(fù)載均衡。路由服務(wù)器節(jié)