聽(tīng)覺(jué)系統(tǒng)的感知特性(p132)

1、第九章 MPEG聲音,聽(tīng)覺(jué)系統(tǒng)的感知特性（P132）9.1.1. 對(duì)響度的感知 9.1.2. 對(duì)音高的感知 9.1.3. 掩蔽效應(yīng),第九章 MPEG聲音,MPEGAudio 與感知特性（P136）心理聲學(xué)模型 (其余內(nèi)容不作為考試范圍）,第十章 MPEG電視,Mpeg-1;Mpeg-2均采用圖像塊單元，進(jìn)行變換、量化、移動(dòng)補(bǔ)償?shù)忍幚黼娨晥D像的數(shù)據(jù)率（P154）ITU-R BT.601標(biāo)準(zhǔn)數(shù)據(jù)率VCD電視圖象數(shù)據(jù)率的

2、估算 DVD電視圖象數(shù)據(jù)率的估算,,第十章 MPEG電視,數(shù)據(jù)壓縮算法（10.2）電視圖象壓縮利用的各種冗余信息（P156表）MPEG專家組定義的三種圖象：幀內(nèi)圖象I(intra)，預(yù)測(cè)圖象P(predicted )和雙向預(yù)測(cè)圖象B(bidirectionally interpolated )，典型的排列如圖10-01所示（P156）,第十章 MPEG電視,幀內(nèi)圖象I(intra)幀內(nèi)圖象I不參照任何過(guò)去的或者將來(lái)的其他圖象幀

3、，壓縮編碼采用類似JPEG壓縮算法，它的框圖如圖10-02所示。如果電視圖象是用RGB空間表示的，則首先把它轉(zhuǎn)換成YCrCb空間表示的圖象。每個(gè)圖象平面分成8×8的圖塊，對(duì)每個(gè)圖塊進(jìn)行離散余弦變換DCT(Discrete Cosine Transform)。DCT變換后經(jīng)過(guò)量化的交流分量系數(shù)按照Z(yǔ)ig-zag的形狀排序，然后再使用無(wú)損壓縮技術(shù)進(jìn)行編碼。DCT變換后經(jīng)過(guò)量化的直流分量系數(shù)用差分脈沖編碼DPCM(Differen

4、tial Pulse Code Modulation)，交流分量系數(shù)用行程長(zhǎng)度編碼RLE(run-length encoding)，然后再用霍夫曼(Huffman)編碼或者用算術(shù)編碼。,第十章 MPEG電視,圖10-02,第十章 MPEG電視,預(yù)測(cè)圖象P的壓縮編碼算法預(yù)測(cè)圖象的編碼也是以圖象宏塊(macroblock)為基本編碼單元，一個(gè)宏塊定義為I×J象素的圖象塊，一般取16×16。預(yù)測(cè)圖象P使用兩種類型的參數(shù)

5、來(lái)表示：一種參數(shù)是當(dāng)前要編碼的圖象宏塊與參考圖象的宏塊之間的差值，另一種參數(shù)是宏塊的移動(dòng)矢量,,要使預(yù)測(cè)圖象更精度，就要求找到與參考宏塊MRJ最佳匹配的預(yù)測(cè)圖象編碼宏塊MPI。所謂最佳匹配是指這兩個(gè)宏塊之間的差值最小。,第十章 MPEG電視,假設(shè)編碼圖象宏塊MPI是參考圖象宏塊MRJ的最佳匹配塊，它們的差值就是這兩個(gè)宏塊中相應(yīng)象素值之差。對(duì)所求得的差值進(jìn)行彩色空間轉(zhuǎn)換，并作4:1:1的子采樣得到Y(jié)，Cr和Cb分量值，然后仿照J(rèn)PEG壓縮

6、算法對(duì)差值進(jìn)行編碼，計(jì)算出的移動(dòng)矢量也要進(jìn)行霍夫曼編碼。,第十章 MPEG電視,10-04,第十章 MPEG電視,雙向預(yù)測(cè)圖象B的壓縮編碼算法,10.2.5 電視圖象的結(jié)構(gòu),MPEG編碼器算法允許選擇I圖象的頻率和位置。I圖象的頻率是指每秒鐘出現(xiàn)I圖象的次數(shù)，位置是指時(shí)間方向上幀所在的位置。一般情況下，I圖象的頻率為2。MPEG編碼器也允許在一對(duì)I圖象或者P圖象之間選擇B圖象的數(shù)目。I圖象、P圖象和B圖象數(shù)目的選擇依據(jù)主要是根節(jié)目的內(nèi)容

7、。例如，對(duì)于快速運(yùn)動(dòng)的圖象，I圖象的頻率可以選擇高一些，B圖象的數(shù)目可以選擇少一點(diǎn)；對(duì)于滿速運(yùn)動(dòng)的圖象I圖象的頻率可以低一點(diǎn)，而B(niǎo)圖象的數(shù)目可以選擇多一點(diǎn)。此外，在實(shí)際應(yīng)用中還要考慮媒體的速率。,,一個(gè)典型的I、P、B圖象安排如圖所示。編碼參數(shù)為：幀內(nèi)圖象I的距離為N=15，預(yù)測(cè)圖象(P)的距離為M=3。,10.3 MPEG-2的配置和等級(jí),在MPEG-2標(biāo)準(zhǔn)化階段，考慮到要適應(yīng)不同數(shù)據(jù)速率設(shè)備的應(yīng)用，MPEG專家組定義了三種質(zhì)量不同的

8、編碼方式：信噪比可變性(SNR/ Signal-to-Noise Scalability)，空間分辨率可變性(Spatial Scalability)和時(shí)間分辨率可變性(Temporal Scalability)。,,信噪比可變性SNR(Signal-to-Noise scalability)是指圖象質(zhì)量的折中，對(duì)于數(shù)據(jù)率比較低的解碼器使用比較低的信噪比，而對(duì)數(shù)據(jù)率比較高的解碼器則使用比較高的信噪比；空間分辨率可變性(Spatial

9、scalability)是指圖象的空間分辨率的折中，對(duì)于低速率的接受器使用比較低的圖象分辨率，而對(duì)于數(shù)據(jù)率比較高的接受器使用比較高的圖象分辨率；時(shí)間分辨率可變性(Temporal Scalability)是指圖象在時(shí)間方向上分辨率的折中，與空間分辨率類似。,,MPEG-2為此引入了“配置(Profiles)”和參數(shù)“等級(jí)(Levels)的概念。每種配置定義一套新的算法，而每一個(gè)等級(jí)指定一套參數(shù)范圍(如圖象大小、幀速率和位速率)。,10

10、.4 MPEG-4電視圖象編碼,MPEG Video專家組建立了一個(gè)用來(lái)開(kāi)發(fā)圖象和電視圖象編碼技術(shù)的模型，叫做“試驗(yàn)?zāi)Ｐ?Test Model)”或者叫做“驗(yàn)證模型(VM—Verification Model)”。這個(gè)模型描述了一個(gè)核心的編碼算法平臺(tái)，包括編碼器、解碼器以及位流(bitstream)的語(yǔ)法和語(yǔ)義 .,10.4.1 電視圖象對(duì)象區(qū)的概念,MPEG-4 Video編碼算法支持由MPEG-1和MPEG-2提供的所有功能，包括對(duì)

11、各種輸入格式下的標(biāo)準(zhǔn)矩形圖象、幀速率、位速率和隔行掃描圖象源的支持。MPEG-4 Video算法的核心是支持內(nèi)容基(content-based)的編碼和解碼功能，也就是對(duì)場(chǎng)景中使用分割算法抽取的單獨(dú)的物理對(duì)象進(jìn)行編碼和解碼。MPEG-4 Video還提供管理這些電視內(nèi)容的最基本方法。,,為了實(shí)現(xiàn)預(yù)想的內(nèi)容基交互等功能，MPEG-4 Video驗(yàn)證模型引進(jìn)了一個(gè)叫做“電視圖象對(duì)象區(qū)(VOP—Video Object Plane)”的概念。

12、 MPEG-4 Video驗(yàn)證模型不像MPEG-1/-2 Video那樣把電視圖象都認(rèn)為是一個(gè)矩形區(qū)，而是假設(shè)每幀圖象被分割成許多任意形狀的圖象區(qū)，每個(gè)區(qū)都有可能覆蓋描述場(chǎng)景中感興趣的物理對(duì)象或者內(nèi)容，這種區(qū)被定義為圖象對(duì)象區(qū)VOP。,,,編碼器輸入的是任意形狀的圖象區(qū)，圖象區(qū)的形狀和位置也可隨幀的變化而改變。屬于相同物理對(duì)象的連續(xù)的電視圖象對(duì)象區(qū)(VOP)組成電視圖象對(duì)象(VO—Video Objects)。MPEG-4可單獨(dú)對(duì)屬于

13、相同電視圖象對(duì)象(VO)的電視圖象區(qū)(VOP)的形狀、移動(dòng)(motion)和紋理(texture)信息進(jìn)編碼和傳送，或者把它們編碼成一個(gè)單獨(dú)的電視圖象對(duì)象層(VOL— Video Object Layer)。此外，需要標(biāo)識(shí)每個(gè)電視圖象對(duì)象層(VOL)的信息也包含在編碼后的位流(bitstream)中，這些信息包括各種電視圖象對(duì)象層(VOL)的電視圖象在接收端應(yīng)該如何進(jìn)行組合，以便重構(gòu)完整的原始圖象序列。這樣就可以對(duì)每個(gè)電視圖象對(duì)象區(qū)(

14、VOP)進(jìn)行單獨(dú)解碼，提供了管理電視圖象序列的靈活性。,10.4.2 電視圖象編碼方案,MPEG-4 Video驗(yàn)證模型對(duì)每個(gè)電視圖象對(duì)象(VO)的形狀、移動(dòng)和紋理信息進(jìn)行編碼形成單獨(dú)的VOL層，以便能夠單獨(dú)對(duì)電視圖象對(duì)象(VO)進(jìn)行解碼。如果輸入圖象序列只包含標(biāo)準(zhǔn)的矩形圖象，就不需要形狀編碼，在這種情況下，MPEG-4 Video使用的編碼算法結(jié)構(gòu)也就與MPEG-1和MPEG-2使用的算法結(jié)構(gòu)相同。,,MPEG-4 Video驗(yàn)證模

15、型對(duì)每個(gè)電視圖象對(duì)象區(qū)(VOP)進(jìn)行編碼使用的壓縮算法是在MPEG-1和MPEG-2 Video標(biāo)準(zhǔn)的基礎(chǔ)上開(kāi)發(fā)的，它也是以圖象塊為基礎(chǔ)的混合DPCM和變換編碼技術(shù)(hybrid DPCM/Transform coding)。MPEG-4編碼算法也定義了幀內(nèi)電視圖象對(duì)象區(qū)I-VOP(Intra-Frame VOP)編碼方式和幀間電視圖象對(duì)象區(qū)預(yù)測(cè)P-VOP(Inter-frame VOP prediction)編碼方式，它也支持雙向預(yù)測(cè)

16、電視圖象對(duì)象區(qū)B-VOP(B-directionally predicted VOP)方式。在對(duì)電視圖象對(duì)象區(qū)(VOP)的形狀編碼之后，顏色圖象序列分割成宏塊進(jìn)行編碼.,,,圖描繪了MPEG-4 Video的編碼算法，用來(lái)對(duì)矩形和任意形狀的輸入圖象序列進(jìn)行編碼。這個(gè)基本編碼算法結(jié)構(gòu)圖包含了移動(dòng)矢量(motion vector)的編碼，以及以離散余弦變換為基礎(chǔ)的紋理編碼。,10.4.3 電視圖象分辨率可變編碼,“電視圖象分辨率”是指電視圖

17、象空間分辨率(spatial resolution)和時(shí)間分辨率(temporal resolution)。空間分辨率是指一幀圖象包含的行數(shù)與每行顯示的象素?cái)?shù)之乘積，而時(shí)間分辨率是指每秒種顯示或者傳輸?shù)膱D象幀數(shù)。設(shè)置電視圖象分辨率可變編碼功能的一個(gè)重要目的是為了能夠靈活支持性能不同(例如不同帶寬)的各種電視接收或顯示設(shè)備，或者支持要求瀏覽電視數(shù)據(jù)庫(kù)等方面的應(yīng)用。另一個(gè)目的是提供分層次的電視圖象數(shù)據(jù)位流，這樣可按應(yīng)用所要求的先后次序進(jìn)行傳

18、輸。,,MPEG-2也有電視圖象分辨率可變編碼功能，但它是以圖象的幀為基礎(chǔ)進(jìn)行編碼。而MPEG-4電視圖象分辨率可變編碼是以任意形狀的電視圖象對(duì)象區(qū)(VOP)為基礎(chǔ)進(jìn)行編碼。對(duì)那些沒(méi)有能力或者不愿意接收高分辨率圖象的接收器，它可以接收分辨率比較低的電視圖象，降低空間分辨率或者時(shí)間分辨率意味降低圖象的質(zhì)量。,,空間分辨率可變性(Spatial Scalability)和時(shí)間分辨率可變性(Temporal Scalability)的實(shí)現(xiàn)方法

19、類似。圖描述了多種分辨率電視圖象編碼(multiscale video coding)方案。該方案提供三個(gè)層次的編碼/解碼，每一層都支持在不同空間分辨率下進(jìn)行編碼/解碼。從圖中可以看到，多種空間分辨率的實(shí)現(xiàn)是通過(guò)降低輸入電視信號(hào)的采樣率來(lái)獲得的。,10.5 HDTV格式,現(xiàn)在我們使用的電視格式再加上新制定的電視格式歸納在圖10-16中。美國(guó)把1280×720格式稱為高級(jí)電視ATV(advanced television)，把1

20、920×1035稱為高清晰度電視HDTV(high definition television)。,,,1995年11月28日美國(guó)高級(jí)電視委員會(huì)ATSC (Advanced Television Systems Committee)向FCC咨詢委員會(huì)(FCC Advisory Committee)提交了數(shù)字電視標(biāo)準(zhǔn)(Digital Television Standard)，并推薦作為高級(jí)電視廣播標(biāo)準(zhǔn)。,,,電視圖象壓縮以MPE

21、G-2 Video標(biāo)準(zhǔn)為基礎(chǔ)，采樣基本型配置(Main Profile)，等級(jí)從基本級(jí)（Main Level)到高級(jí)(High Level)。聲音壓縮以AC-3系統(tǒng)為基礎(chǔ)，采樣頻率為48kHz，支持5個(gè)環(huán)繞聲和1個(gè)超低頻聲道。該規(guī)格是1996年介紹的，由于近年來(lái)MPEG電視和聲音標(biāo)準(zhǔn)的研究已有新的進(jìn)展，因此該規(guī)格有可能在實(shí)行過(guò)程中會(huì)作修改。,,電視圖象數(shù)據(jù)壓縮的依據(jù)是什么？ MPEG-1編碼器輸出的電視圖象的數(shù)據(jù)率大約是多少？ MP