基于FPGA的LZ4無損壓縮算法優(yōu)化設(shè)計.pdf

1、隨著云計算和大數(shù)據(jù)產(chǎn)業(yè)的興起，計算機(jī)系統(tǒng)對數(shù)據(jù)存儲和傳輸速率要求越來越高，現(xiàn)有的無損壓縮軟件逐漸變得難以滿足實時數(shù)據(jù)訪問的速率需求。新一代LZ4算法得益于百兆字節(jié)每秒(Million Bits per second，MBps)級別的壓縮速率，在高速壓縮場合得到廣泛的應(yīng)用。專用硬件壓縮電路能夠充分利用硬件的并發(fā)性和實時性，提供較高的壓縮率和壓縮速率性能，并且，壓縮過程不需要占用中央處理器(Central Processing Unit，C

2、PU)的計算資源，對壓縮率和壓縮速率性能之間的折中只取決于電路結(jié)構(gòu)。
　　本文提出了針對LZ4壓縮率缺陷的優(yōu)化方案。使用現(xiàn)場可編程門陣列(Field Programmable Gate Array，F(xiàn)PGA)設(shè)計并實現(xiàn)了字典緩沖器、并行匹配電路、字符串分割電路、并行編碼器、校驗電路和流水線控制器，共同組成LZ4壓縮電路。為了進(jìn)一步優(yōu)化壓縮率，提出了以半靜態(tài)哈夫曼(Huffman)編碼為基礎(chǔ)的二級壓縮方法，并使用FPGA設(shè)計了統(tǒng)計、

3、排序、建樹、碼長優(yōu)化、碼表生成以及編碼電路。此外，將LZ4電路和半靜態(tài)Huffman編碼電路進(jìn)行級聯(lián)，解決了LZ4壓縮電路的壓縮率與兼容性之間的矛盾。
　　本文所述的壓縮電路在Xilinx KC705開發(fā)平臺上進(jìn)行測試。設(shè)定電路工作頻率125MHz，使用卡爾加里語料庫（Calgary Corpus）和坎特伯雷語料庫(Canterbury Corpus)進(jìn)行性能測試。結(jié)果表明，在兼容模式下，平均壓縮率(52.76％和49.95％)和