重復(fù)數(shù)據(jù)刪除關(guān)鍵技術(shù)優(yōu)化研究及SRC路由協(xié)議設(shè)計(jì).pdf

1、數(shù)據(jù)量的爆炸式增長(zhǎng)以及海量數(shù)據(jù)的大規(guī)模集中使得數(shù)據(jù)重復(fù)所導(dǎo)致的空間浪費(fèi)問題越來越嚴(yán)重，這促使了重復(fù)數(shù)據(jù)消除技術(shù)的出現(xiàn)和發(fā)展。重復(fù)數(shù)據(jù)刪除概念很簡(jiǎn)單，如果做一分鐘“電梯演講”:一本浩瀚的大不列顛百科叢書有4400萬(wàn)個(gè)字符，共計(jì)3萬(wàn)多英文單詞，所有的這一切都是由簡(jiǎn)單的26個(gè)英文字母構(gòu)成。海量數(shù)據(jù)高達(dá)EB級(jí)別，重復(fù)數(shù)據(jù)刪除技術(shù)是發(fā)現(xiàn)海量數(shù)據(jù)中的“字母”，并將數(shù)據(jù)以“字母”的形式構(gòu)成，將重復(fù)的數(shù)據(jù)進(jìn)行刪除以獲得更好的存儲(chǔ)空間性價(jià)比。
　　

2、 目前，重復(fù)數(shù)據(jù)刪除方面的研究工作已經(jīng)在消冗率提升、性能優(yōu)化以及分布式路由算法等方面取得了一系列有價(jià)值的成果，有效地推動(dòng)了該技術(shù)的應(yīng)用。本文從研究熱點(diǎn)與瓶頸出發(fā)，主要研究面向服務(wù)質(zhì)量的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)，面向服務(wù)質(zhì)量就需要支持服務(wù)質(zhì)量的可調(diào)節(jié)[1]，研究目標(biāo)是建立一種基于多重策略設(shè)計(jì)及優(yōu)化的重復(fù)數(shù)據(jù)刪除技術(shù)體系。
　　 首先，本文重點(diǎn)研究了重復(fù)數(shù)據(jù)刪除的技術(shù)體系、關(guān)鍵技術(shù)和關(guān)鍵指標(biāo)，以此建立重復(fù)數(shù)據(jù)刪除原型系統(tǒng)，其中消冗引

3、擎作為重復(fù)數(shù)據(jù)刪除技術(shù)的關(guān)鍵核心，包括路由算法、數(shù)據(jù)塊倉(cāng)庫(kù)、并行流水線控制、網(wǎng)絡(luò)通訊規(guī)約。在此基礎(chǔ)上對(duì)關(guān)鍵技術(shù)的模型進(jìn)行分析，分析內(nèi)容包括索引模型分析、數(shù)據(jù)模型分析、性能模型分析，并從理論角度進(jìn)行驗(yàn)證。其次，路由算法是分布式重復(fù)數(shù)據(jù)刪除存儲(chǔ)系統(tǒng)中的關(guān)鍵技術(shù)，但現(xiàn)有的路由算法無(wú)法滿足分布式系統(tǒng)在消冗效率、數(shù)據(jù)遷移及集群彈性上的要求，因此，本文設(shè)計(jì)了一種基于Chord的相似性路由檢測(cè)算法SRC(Similarity Routing Base

4、d on Chord)，并從理論角度完成算法的收斂性、一致性證明，進(jìn)一步詳述了SRC路由算法的三個(gè)階段。最后，從三種關(guān)鍵技術(shù)的模型分析結(jié)果出發(fā)，提出具體技術(shù)策略改進(jìn)、優(yōu)化方案，其中包括索引的分級(jí)優(yōu)化、基于數(shù)據(jù)價(jià)值的遷移優(yōu)化、基于讀請(qǐng)求重組的性能優(yōu)化。
　　 在系統(tǒng)實(shí)驗(yàn)過程中，搭建了分布式集群環(huán)境，并選取測(cè)試數(shù)據(jù)集及實(shí)驗(yàn)工具，完成讀寫并發(fā)響應(yīng)時(shí)間測(cè)試、集群讀寫能力測(cè)試、路由算法負(fù)載均衡測(cè)試、節(jié)點(diǎn)容錯(cuò)測(cè)試等。經(jīng)實(shí)驗(yàn)驗(yàn)證，對(duì)于分布式重