并行遷移壓縮算法的研究與實(shí)現(xiàn).pdf

1、隨著近年來數(shù)據(jù)規(guī)模的爆炸式增長，數(shù)據(jù)去重和數(shù)據(jù)壓縮作為削減數(shù)據(jù)冗余的兩種關(guān)鍵技術(shù)，受到了更多的關(guān)注。和數(shù)據(jù)去重技術(shù)相比，數(shù)據(jù)壓縮技術(shù)能夠消除更多的數(shù)據(jù)冗余。在檢測冗余數(shù)據(jù)的過程中，數(shù)據(jù)壓縮技術(shù)一般采用“滑動窗口”的方式來限制查找范圍，因此在相似數(shù)據(jù)相距較遠(yuǎn)從而超出滑動窗口的檢索范圍時，便沒有機(jī)會削減這部分?jǐn)?shù)據(jù)冗余。
　　現(xiàn)有的遷移壓縮算法通過基于相似數(shù)據(jù)塊檢測的數(shù)據(jù)置換操作，將相似的數(shù)據(jù)塊集中存放到一起，使得傳統(tǒng)壓縮算法在有限的滑

2、動窗口范圍內(nèi)檢測出更多數(shù)據(jù)冗余的機(jī)會大大增加，從而改善其數(shù)據(jù)壓縮率。然而，該算法僅針對單個文件內(nèi)的相似數(shù)據(jù)進(jìn)行處理，并且采用的是串行編程的思想，因此成為海量存儲系統(tǒng)及傳輸網(wǎng)絡(luò)數(shù)據(jù)壓縮處理的瓶頸。
　　為了解決這一問題，提出了一種并行遷移壓縮算法。該算法一方面對遷移壓縮算法中計(jì)算密集型的功能模塊（數(shù)據(jù)分塊、數(shù)據(jù)去重以及相似性檢測）進(jìn)行并行化和流水化的設(shè)計(jì)，以降低時間開銷；另一方面采用非對稱極值分塊算法加速數(shù)據(jù)分塊過程，引入數(shù)據(jù)去重技