面向大數(shù)據(jù)的高效存儲容量縮減技術(shù)研究.pdf

1、隨著信息化的發(fā)展，全球數(shù)據(jù)量呈指數(shù)式增長，數(shù)據(jù)中心存儲規(guī)?？焖龠~向了PB級甚至是EB級，其中包含了大量的冗余數(shù)據(jù)。這些冗余數(shù)據(jù)占用了大量的存儲資源，導(dǎo)致存儲系統(tǒng)性能降低，數(shù)據(jù)存儲和管理成本增加等問題。在此背景下，存儲容量縮減技術(shù)在不改變數(shù)據(jù)基本屬性前提下，通過采用重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)壓縮技術(shù)，有效地縮減數(shù)據(jù)量的規(guī)模，提高存儲資源利用率，降低管理成本。存儲容量縮減技術(shù)已經(jīng)成為業(yè)界研究的熱點，顯示出重要的學(xué)術(shù)價值和應(yīng)用價值。
　　然

2、而，大數(shù)據(jù)的規(guī)模巨大、類型繁多、冗余量龐大以及對數(shù)據(jù)處理的速度要求較高等特點，導(dǎo)致存儲容量縮減技術(shù)在面對大數(shù)據(jù)應(yīng)用時仍然存在許多需要解決的技術(shù)問題。例如如何降低數(shù)據(jù)分塊時間開銷，減少冗余數(shù)據(jù)塊發(fā)現(xiàn)時間以及提高數(shù)據(jù)壓縮速度和壓縮率等方面。針對上述問題，從存儲容量縮減技術(shù)的數(shù)據(jù)分塊策略、冗余數(shù)據(jù)塊的發(fā)現(xiàn)機制以及數(shù)據(jù)塊的高速壓縮機制等方面進行深入的研究。具體來說，主要從以下三個方面提出了創(chuàng)新性理論或方法：
　　1.基于位串內(nèi)容感知的數(shù)據(jù)

3、分塊策略（Bit-string Content-aware Chunking Strategy，BCCS）：圍繞影響數(shù)據(jù)分塊性能的各種因素進行分析和討論，實現(xiàn)了一種新的基于位串的數(shù)字簽名技術(shù)，并在此基礎(chǔ)上提出了BCCS。BCCS從數(shù)據(jù)塊每個正文字節(jié)中抽取某一特定比特來構(gòu)成窗口特征數(shù)據(jù)，并使用位操作替代傳統(tǒng)的比較操作。該策略充分利用每一次失敗的匹配嘗試所帶來的特征信息，盡量排除盡可能多的不能匹配位置，從中獲取最大跳躍長度，從而加快二進制串

4、的匹配過程，降低確定塊邊界的CPU資源消耗。實驗結(jié)果表明，對于可變數(shù)據(jù)測試集，相對Rabin算法，BCCS的數(shù)據(jù)塊劃分速度最多可以提高197％；對于固定數(shù)據(jù)測試集，相對于FSP算法，BCCS速度僅僅降低10.8%，而其數(shù)據(jù)壓縮率卻較FSP的0.977提高到了1.206，可以提高20%。
　　2.基于二級布隆過濾的冗余數(shù)據(jù)塊發(fā)現(xiàn)機制（Redundant ChunkQuery Mechanism based on Two-staged

5、 Bloom Filter，RCQM-TBF）：針對數(shù)據(jù)指紋（FingerPrint,FP）數(shù)量巨大，不能完全存儲在內(nèi)存中，導(dǎo)致性能下降的問題，提出了RCQM-TBF。RCQM-TBF中第二級布隆過濾器作為第一級布隆過濾器結(jié)果的一個整體表現(xiàn)，其每一個比特位代表進入相同準(zhǔn)二級假陽性誤判狀態(tài)的所有FP。對于FP假陽性訪問，TBF通過降低二級布隆過濾機制中第一級和第二級過濾的假陽性誤判率，快速判斷新到達數(shù)據(jù)塊的非存在性；對于FP正常性訪問，T

6、BF通過建立FP高速緩存鏈表和對應(yīng)的FP預(yù)取機制來減少直接的硬盤訪問，對新到達的數(shù)據(jù)塊存在性進行快速判斷；同時TBF創(chuàng)建了一個具有強全局散列特性的哈希函數(shù)族，減小碰撞發(fā)生的可能性。實驗結(jié)果表明，對于非冗余測試數(shù)據(jù)集，RCQM-TBF的FP查詢延遲性能和數(shù)據(jù)塊的存儲性能較采用標(biāo)準(zhǔn)布隆過濾算法的ZHU-BLOOM FILTER最多提升了28%；對于冗余測試數(shù)據(jù)集，RCQM-TBF的存儲速度較ZHU-BLOOM FILTER最多可以提高100

7、%到135%；當(dāng)擴充服務(wù)器內(nèi)存時，理論上RCQM-TBF可管理的存儲數(shù)據(jù)容量最大可以達到64PB。
　　3.基于多矩陣并行匹配的高速數(shù)據(jù)壓縮機制（Parallel MatchingLZSS based on Multiple Matrix，PMLZSS-MM）：為了加快壓縮速度，并提高存儲容量利用率，提出了PMLZSS-MM。該機制實現(xiàn)了一種GPU平臺下的多矩陣并行匹配工作模式，將需要壓縮的數(shù)據(jù)動態(tài)劃分多個字典串和預(yù)讀串，分別將其

8、作為矩陣的縱軸和橫軸，分解到GPU中的不同線程塊中，形成多個矩陣進行并行匹配；而對于需串行執(zhí)行的壓縮編碼生成部分，仍然在CPU上執(zhí)行。通過合理的調(diào)度策略，協(xié)調(diào)兩者共同完成任務(wù)。實驗結(jié)果表明，PMLZSS-MM容量縮減率有所下降。相對于經(jīng)典CPU平臺上的串行LZSS算法，容量縮減率最多下降了1.5%。但PMLZSS-MM顯著提高了大數(shù)據(jù)的壓縮速度，當(dāng)字典窗口設(shè)置為4KB，預(yù)讀數(shù)據(jù)窗口設(shè)置為64B時，相對于CPU平臺上的串行LZSS算法，其