中文XML壓縮技術研究.pdf

1、隨著可擴展標記語言（Extensible Markup Language，簡稱XML）的廣泛應用，互聯(lián)網(wǎng)以及本地計算機上存在著大量的中文XML文檔需要存儲和交換。XML是一種元語言，可以用來描述其它數(shù)據(jù)，并且XML具有簡單、靈活、跨平臺等特性。但是XML格式冗余巨大，空間利用率低。為了提高空間利用率，提高數(shù)據(jù)交換的速度，給出了一種高壓縮率中文XML文檔的專用壓縮解決方案COX（Chinese-Oriented XML Compresso

2、r）并實現(xiàn)了該系統(tǒng)。
　　 針對XML文檔的特性，分析了XML文檔中存在的結構和內(nèi)容上的冗余信息，針對這些冗余給出了COX壓縮技術。COX壓縮中文XML文檔的過程主要分為以下幾個步驟：建立字典，查找字典，編碼和整合壓縮。建立字典分為三個步驟：對XML文檔進行中文分詞，獲得分詞及對應的詞頻信息；根據(jù)分詞長度和詞頻信息過濾掉分詞長度較短或（和）詞頻較低的分詞；對獲得的分詞字典根據(jù)詞頻進行排序，高頻詞匯位于字典首部，低頻詞匯位于字典尾

3、部，至此得到了編碼字典。建立字典之后，再次掃描XML文檔，根據(jù)一定的條件對數(shù)據(jù)進行分類，建立相應的容器，查找字典，對于字典項進行前綴編碼，對其它類型的數(shù)據(jù)采用相應的編碼方式進行編碼；使用通用壓縮算法LZMA對編碼后的容器進行整合壓縮。COX使用了中文分詞，建立字典，劃分容器等技術，其中建立字典是COX的關鍵技術。
　　 將COX和其它一些流行壓縮軟件進行對比實驗，實驗結果表明在相同的實驗環(huán)境下對所選取的所有數(shù)據(jù)集COX的壓縮率都