圖像視頻編碼與表達(dá)的理論與方法

1、圖像壓縮標(biāo)準(zhǔn)JPEG,,2,主要內(nèi)容,JPEG背景基于DCT的順序編碼模式基于DPCM的無損編碼模式基于DCT的漸進(jìn)編碼模式基于DCT的分層編碼模式,3,JPEG背景,JPEG(Joint Photographic Experts Group)由 ISO和IEC兩個(gè)組織機(jī)構(gòu)聯(lián)合組成的一個(gè)圖像專家小組負(fù)責(zé)制定靜態(tài)的數(shù)字圖像數(shù)據(jù) 壓縮編碼標(biāo)準(zhǔn)JPEG 標(biāo)準(zhǔn)該專家組開發(fā)的算法稱為JPEG算法 JPEG 已經(jīng)成為國(guó)際上通用圖像

2、的標(biāo)準(zhǔn)JPEG 標(biāo)準(zhǔn)適用范圍 灰度圖像，彩色圖像 靜止圖像的壓縮，視頻序列幀內(nèi)圖像壓縮JPEG可以大范圍地調(diào)節(jié)圖像碼率和質(zhì)量,4,JPEG背景,JPEG算法與顏色空間無關(guān)對(duì)于單色圖像，只有一個(gè)亮度分量對(duì)于彩色圖像，JPEG對(duì)每個(gè)分量進(jìn)行單獨(dú)編碼顏色空間轉(zhuǎn)換不包含在JPEG算法中對(duì)于YUV圖像: 對(duì)于ＹＵＶ采用不同的分辨率, 對(duì)每個(gè)不同分量的可以采用不同的量化參數(shù)和熵編碼表。可壓縮來自不同顏色空間的圖像:RGB,CM

3、KY等,5,JPEG背景,JPEG核心算法 DCTDPCM,6,JPEG背景,對(duì)于一個(gè)圖像分量，JPEG規(guī)定了4 種運(yùn)行模式基于DCT的順序編碼模式 （baseline CODEC）單遍掃描完成一個(gè)圖像分量的編碼，掃描次序從左到右，從上到下?；贒PCM(差分脈沖編碼調(diào)制)無損編碼模式無損編碼壓縮比可以達(dá)到2:1基于DCT的漸進(jìn)編碼模式通過多次掃描一幅圖像分量的編碼，提供了一個(gè)由粗到精的漸進(jìn)碼流結(jié)構(gòu)?；贒CT的分層

4、編碼模式提供多分辨率的碼流結(jié)構(gòu),7,基于DCT的順序編碼模式,算法基本步驟將原圖像用亮度、色差表示（分量圖像采樣4：1：1）分成8×8數(shù)據(jù)塊, 數(shù)據(jù)[0~255]轉(zhuǎn)換為[-128~127]進(jìn)行正向離散余弦變換(FDCT) 量化(quantization) Z字形排列量化結(jié)果(zigzag scan) 使用DPCM對(duì)直流系數(shù)(DC)進(jìn)行編碼 使用行程編碼對(duì)交流系數(shù)(AC)進(jìn)行編碼 熵編碼(entropy

5、coding)：哈夫曼或算術(shù)編碼,8,基于DCT的順序編碼模式,系統(tǒng)框架,9,基于DCT的順序編碼模式,圖像塊的劃分,480*640彩色圖像,由亮度Y 色差 Cb, Cr 表示，可劃分為 4800亮度塊和 兩份1200色度塊,10,基于DCT的順序編碼模式,離散余弦變換(DCT),殘差圖像,殘差圖像的8×8塊 DCT系數(shù)分布,11,基于DCT的順序編碼模式,離散余弦變換(DCT)X的離散余弦變換(DCT)為Y, X ,Y是

6、N × N 塊正變換FDCT逆變換IDCT,,12,基于DCT的順序編碼模式,離散余弦變換(DCT),,DC 系數(shù),,13,基于DCT的順序編碼模式,缺省的量化方式,,14,基于DCT的順序編碼模式,缺省的量化方式,,量化表： 根據(jù)心理視覺加權(quán)函數(shù)得到的量化:DCT變換系數(shù)除以量化步長(zhǎng)，四舍五入取整,15,基于DCT的順序編碼模式,缺省的量化方式,,16,基于DCT的順序編碼模式,缺省的量化方式,,17,基于DCT

7、的順序編碼模式,缺省的量化方式,,18,基于DCT的順序編碼模式,缺省的量化方式,,19,基于DCT的順序編碼模式,DC系數(shù)和AC系數(shù)的編碼方式DCT變換后，能量集中在左上角。由于兩個(gè)相鄰的8×8子塊的DC系數(shù)相差很小，采用DPCM對(duì)直流(DC)系數(shù)單獨(dú)編碼。其它63個(gè)元素是交流(AC)系數(shù)，采用行程編碼。問題: 如何排列這63個(gè)系數(shù)？ 為了保證低頻分量先出現(xiàn)，高頻分量后出現(xiàn)，同時(shí)增加連續(xù)“0”的個(gè)數(shù)，采用Z

8、ig-Zag的排列方法。,20,基于DCT的順序編碼模式,DC系數(shù)和AC系數(shù)的編碼方式,21,基于DCT的順序編碼模式,DC系數(shù)和AC系數(shù)的編碼方式,22,基于DCT的順序編碼模式,熵編碼JPEG標(biāo)準(zhǔn)規(guī)定了兩種熵編碼算法： 哈夫曼編碼自適應(yīng)算術(shù)編碼哈夫曼編碼一般采用的是固定的哈夫曼表。對(duì)亮度分量和色度分量采用了不同的哈夫曼表。,23,基于DCT的順序編碼模式,熵編碼哈夫曼編碼包括兩部分中間格式表示：用兩個(gè)字節(jié)熵編碼,可變

9、長(zhǎng)編碼VLC,可變長(zhǎng)整數(shù)編碼VLI,對(duì)于DC系數(shù) ，第一個(gè)字節(jié)的高4位為0000，低4位為DC系數(shù)差值的比特?cái)?shù)（size/category）第二個(gè)字節(jié)為DC系數(shù)差值,24,基于DCT的順序編碼模式,熵編碼,任意給定一個(gè)整數(shù)，通過查此表，獲得其對(duì)應(yīng)的比特?cái)?shù),25,基于DCT的順序編碼模式,熵編碼,對(duì)于DC系數(shù)差 的category 編碼,,,26,基于DCT的順序編碼模式,熵編碼,,27,基于DCT的順序編碼模式,熵編碼,,,,28,

10、基于DCT的順序編碼模式,熵編碼,,29,基于DCT的順序編碼模式,熵編碼,30,基于DCT的順序編碼模式,熵編碼對(duì)于DC系數(shù)，設(shè)前一個(gè)8×8子塊DC系數(shù)的量化值為12，則本塊DC系數(shù)與它的差為3，所以DC中間格式為(2)(3) 可以求得這個(gè)8×8子塊熵編碼的中間格式為 (DC)(2)(3), (1/2)(-2),(0/1)(-1),(0/1)(-1),(0/1)(-1

11、), (2/1)(-1), (EOB)(0/0),31,基于DCT的順序編碼模式,熵編碼字節(jié)1和字節(jié)2分別進(jìn)行編碼零行程長(zhǎng)度超過15個(gè)時(shí),用一個(gè)符號(hào)ZRL(15/0),表示16個(gè)零 2個(gè)ZRL(15/0)表示32個(gè)零，3個(gè)ZRL(15/0)表示48個(gè)零。塊結(jié)束時(shí)用符號(hào)EOB (0/0)。對(duì)字節(jié)1進(jìn)行Hufffman編碼(亮度，色差的Huffman碼表不同)。 對(duì)字節(jié)2進(jìn)

12、行變長(zhǎng)整數(shù)VLI編碼,32,基于DCT的順序編碼模式,熵編碼舉例：Size=6時(shí)，數(shù)的范圍是（-63）～（-32）以及32～63，對(duì)絕對(duì)值相同，符號(hào)相反的碼字之間為反碼關(guān)系。AC系數(shù)32的碼字為100000， AC系數(shù)33的碼字為100001， AC系數(shù)-32的碼字為011111， AC系數(shù)-33的碼字為011110。 字節(jié)2的碼字位于字節(jié)1的碼字之后。,33,基于DCT的順序編碼

13、模式,熵編碼熵編碼過程舉例,(DC)(2)(3)： (2) : 011 (3): 11 (2)(3) 011 11(1/2)(-2)： (1/2): 11011 -2是2的反碼，為01； (1/2)(-2) 11011 01(0/1)(-1)：

14、 (0/1):00， (-1)是1的反碼，為0； (0/1)(-1) 000(2/1)(-1): 11100 0 (EOB)(0/0) : 1010(DC)(2)(3),(1/2)(-2),(0/1)(-1),(0/1)(-1),(0/1)(-1),(2/1)(-1),

15、(EOB)(0/0),34,基于DCT的順序編碼模式,熵編碼熵編碼過程舉例01111, 1101101, 000, 000, 000, 111000 1010(31bit) 31bits/64pixels, 碼率 ： 0.5bpp一8×8子塊亮度信息壓縮后的數(shù)據(jù)流共31比特，其壓縮比是64×8/31=16.5，大約每個(gè)象素用半個(gè)比特。,基于DCT的順序編碼模式,36,基于D

16、PCM的無損編碼模式,主要采用了三鄰域二維預(yù)測(cè)編碼和熵編碼,,,,,,,,,,,,無失真編碼器,源圖像數(shù)據(jù),壓縮的圖像數(shù)據(jù),預(yù)測(cè)器,熵編碼器,表說明,DPCM預(yù)測(cè)編碼框圖,37,基于DPCM的無損編碼模式,主要采用了三鄰域二維預(yù)測(cè)編碼和熵編碼 減去預(yù)測(cè)值，得到一個(gè)差值，差值不量化，直接進(jìn)行熵編碼（哈夫曼或者算術(shù)編碼） 保證無失真地恢復(fù)原始圖像,38,基于DCT的漸進(jìn)的編碼模式,基本思想此模式與順序模式編碼步驟基本一致，不同

17、之處在于遞增模式每個(gè)圖像分量的編碼要經(jīng)過多次掃描才完成。第一次掃描只進(jìn)行一次粗糙的壓縮，然后根據(jù)此數(shù)據(jù)先重建一幅質(zhì)量低的圖像，以后的掃描再作較細(xì)的掃描，使重建圖像質(zhì)量不斷提高，直到滿意為止,39,基于DCT的漸進(jìn)的編碼模式,漸進(jìn)模式分為兩種按頻段漸進(jìn)一次掃描中，只對(duì)DCT變換中的某些頻段的系數(shù)進(jìn)行編碼傳送，然后累進(jìn)的方式對(duì)其他頻段進(jìn)行編碼與傳送，直至將全部系數(shù)傳遞完畢按位漸進(jìn)對(duì)DCT系數(shù)按照其數(shù)位由高至低分成若干段，依次對(duì)各段進(jìn)

18、行壓縮編碼，先對(duì)最有效位的N位進(jìn)行編碼傳送，直至將全部系數(shù)傳遞完畢,40,基于DCT的漸進(jìn)的編碼模式,,41,基于DCT的漸進(jìn)的編碼模式,42,基于DCT的漸進(jìn)的編碼模式,43,基于DCT的漸進(jìn)的編碼模式,DC系數(shù),44,基于DCT的漸進(jìn)的編碼模式,,45,基于DCT的分層編碼模式,基本步驟（1）降低原始圖像的空間分辨率。 （2）對(duì)已經(jīng)降低分辨率的圖像按照順序編碼模式進(jìn)行 壓縮并存儲(chǔ)或傳輸。