面向災備的無損數(shù)據(jù)壓縮關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)壓縮是指在一定的數(shù)據(jù)存儲空間要求下，將相對龐大的原始數(shù)據(jù)，重組為滿足前述空間要求的數(shù)據(jù)集合，使得從該數(shù)據(jù)集合中恢復出來的信息能夠與原始數(shù)據(jù)相一致，或者能夠獲得與原始數(shù)據(jù)一樣的使用品質(zhì)。數(shù)據(jù)壓縮減少了數(shù)據(jù)存儲所需要的空間，從而間接減少了處理數(shù)據(jù)所需要的時間及資源耗費。災備系統(tǒng)特殊的應(yīng)用環(huán)境和特定的技術(shù)要求對數(shù)據(jù)壓縮技術(shù)提出了新的要求，這些要求包括在以中文信息為主的應(yīng)用環(huán)境下壓縮性能的度量和壓縮性能的提高優(yōu)化問題，由基于分塊的增量備份技

2、術(shù)所衍生的壓縮技術(shù)在分塊模式下的性能優(yōu)化問題，對災備數(shù)據(jù)聯(lián)合使用壓縮技術(shù)和加密技術(shù)所引發(fā)的計算性能瓶頸問題，以及擴展壓縮技術(shù)的應(yīng)用范圍等等。
　　在以中文信息為主的應(yīng)用環(huán)境下壓縮性能的度量方面，由于數(shù)據(jù)壓縮技術(shù)的發(fā)展一直以歐美發(fā)達國家為主導，壓縮性能測試主要使用Calgary Corpus和Canterbury Corpus等測試集，這些測試集的各類測試文件都是ASCII編碼方式的，而在中文應(yīng)用環(huán)境中，ANSI編碼的數(shù)據(jù)占有主導地

3、位，因此需要對壓縮測試集進行擴充，增加中文編碼的測試樣本。論文構(gòu)造了一個基于ANSI編碼的中文無損壓縮算法性能評估測試集 HITICT，其按照應(yīng)用代表性、補充性、公開性的原則從互聯(lián)網(wǎng)上獲取候選樣本，采用平均壓縮率、標準差、平均相關(guān)系數(shù)、壓縮率相關(guān)系數(shù)等技術(shù)指標對樣本進行篩選，并剔除影響壓縮率的非文本因素，最后確定了10個最優(yōu)樣本組成HITICT Corpus。實驗結(jié)果表明，該測試集具有良好的代表性及穩(wěn)定性，彌補了中文壓縮測試集的空白，可

4、以做為當前主流ASCII編碼測試集的補充。
　　針對中文數(shù)據(jù)的壓縮性能優(yōu)化問題，論文提出了一個中文文本壓縮性能優(yōu)化算法CRecode。算法根據(jù)中文文本中字詞的概率分布特點，對中文字詞根據(jù)其使用頻率，采用8 bits、16 bits和24 bits三種長度的編碼重新編碼，克服了Huffman編碼在壓縮中文數(shù)據(jù)時打亂數(shù)據(jù)中蘊含的語義信息，致使其壓縮數(shù)據(jù)再壓縮性差的缺點。CRecode最大的貢獻在于它與通用壓縮工具的兼容性，測試中，CR

5、ecode在與現(xiàn)有主流壓縮軟件聯(lián)合使用時，可提高壓縮率4％到30%。
　　在分塊壓縮技術(shù)的研究方面，論文首次深入研究了LZSS算法在分塊模式下的壓縮性能以及影響LZSS性能最重要的兩個參數(shù)IA字段位長及Len字段位長對分塊LZSS壓縮性能的影響，以此確定與災備系統(tǒng)相匹配的最佳分塊大小。研究表明，LZSS壓縮率與分塊大小相關(guān)，分塊越大，壓縮率越高，不分塊 LZSS的壓縮率最高。IA字段位長對分塊LZSS的壓縮性能影響較大，最佳分塊隨

6、著IA字段位長的增大而增大，而 Len字段位長對分塊 LZSS壓縮率的影響很小。時間性能方向，造成分塊LZSS時間性能降低的原因主要在于小分塊引起的IO負擔，與LZSS算法本身無關(guān)。
　　在壓縮數(shù)據(jù)的隨機性測試方面，論文使用NIST和Diehard兩個隨機性測試集測試了各種壓縮算法生成的壓縮數(shù)據(jù)的隨機性，提出了一個隨機性度量指標 SRV，通過計算SRV值對壓縮數(shù)據(jù)的隨機性能進行比較，并分析了壓縮率與隨機性之間的關(guān)系。測試表明，數(shù)據(jù)

7、壓縮率與隨機性是有一定的正相關(guān)關(guān)系，但隨機性好未必意味著生成該數(shù)據(jù)的壓縮算法的壓縮率高，壓縮數(shù)據(jù)的隨機性更與編碼方式相關(guān)，算術(shù)編碼表現(xiàn)出更好的隨機化性能。高度壓縮的數(shù)據(jù)仍具有一定的非隨機性。壓縮數(shù)據(jù)隨機性的優(yōu)劣與壓縮算法的隨機化性能息息相關(guān)，根據(jù)LZSS算法IA字段所具有的隨機性特征，論文設(shè)計了一個基于LZSS的PRNG，實驗表明，基于LZSS的PRNG可獲得與RC4加密算法相近的隨機性能，該算法生成的隨機數(shù)具有單向性、不可逆推的特點，