畢業(yè)論文--h.264快速速率估計(jì)算法的實(shí)現(xiàn)

1、<p><b>　　緒論</b></p><p><b>　　1.1 、引言</b></p><p>　　最近的幾十年里，通信技術(shù)的發(fā)展日新月異，技術(shù)更新也非?？焖?。圖像和視頻處理技術(shù)作為信號(hào)處理技術(shù)發(fā)展的產(chǎn)物，已經(jīng)越來越引起國(guó)際社會(huì)的關(guān)注。一個(gè)產(chǎn)業(yè)的發(fā)展離不開標(biāo)準(zhǔn)化，正是基于此國(guó)際學(xué)術(shù)會(huì)議以及相關(guān)組織所提出的標(biāo)準(zhǔn)化建議或協(xié)議就相當(dāng)重要

2、了。近些年，一系列國(guó)際圖像和視頻壓縮編碼標(biāo)準(zhǔn)的制定和更新，使得編碼壓縮技術(shù)技術(shù)和相關(guān)產(chǎn)業(yè)日趨成熟，極大的促進(jìn)了圖像視頻信號(hào)處理技術(shù)在社會(huì)生活中的應(yīng)用。尤其是在最近幾年，第三代移動(dòng)通信技術(shù)正在蓬勃發(fā)展，它將無(wú)線通信與國(guó)際互聯(lián)網(wǎng)等各種多媒體通信結(jié)合，是當(dāng)今社會(huì)極具發(fā)展?jié)摿蛢r(jià)值的新一代移動(dòng)通信系統(tǒng)。面對(duì)巨大的移動(dòng)終端市場(chǎng)，進(jìn)行視頻壓縮也更有利于通信交互，這將會(huì)極大地促進(jìn)通信技術(shù)的推廣和發(fā)展。因此，科技的更新和用戶的要求對(duì)各種信號(hào)的處理技術(shù)有

3、了更高的標(biāo)準(zhǔn)。為了適應(yīng)各種現(xiàn)代通信和信息傳輸網(wǎng)絡(luò)的技術(shù)要求，除了繼續(xù)使用與傳統(tǒng)的信號(hào)處理技術(shù)相同的技術(shù)外，在此基礎(chǔ)上，還應(yīng)該提出一個(gè)新的信號(hào)處理技術(shù)，算法，模型，以滿足應(yīng)用的需求。</p><p>　　2003年,ITU和ISO聯(lián)合制定出H．264/AVC，該標(biāo)準(zhǔn)也是至今最新、最先進(jìn)的的視頻壓縮編碼標(biāo)準(zhǔn)。H．264/AVC以 先 前 制 定的視 頻 編 碼 標(biāo) 準(zhǔn) 為基礎(chǔ)，集合了其中的一 些 已經(jīng)得到足夠發(fā)展技術(shù)

4、也很成熟的算法，同時(shí)吸收了視頻編碼和圖像處理領(lǐng)域里的一些為提高編碼性能所提出的最新最有效地研究成果。H.264極大地提高了編碼效率，在增 強(qiáng) 網(wǎng) 絡(luò) 適 應(yīng) 性 方 面 也 有 很 大 的 飛 躍，它的最終目標(biāo)是適應(yīng)人 們對(duì)基于網(wǎng)絡(luò)應(yīng)用的視 頻 多 媒 體 信 號(hào)的個(gè)性要 求。</p><p>　　聯(lián)合視頻小組(joint video team，JVT)所提出的新視頻編碼標(biāo)準(zhǔn)——H．264，與以往標(biāo)準(zhǔn)相比在編碼效

5、率方面具有顯著的優(yōu)勢(shì)；但為了提高壓縮效率，它所帶來的的高計(jì)算復(fù)雜度是實(shí)際應(yīng)用領(lǐng)域所承受不了的。在H.264的參考軟件JM中，運(yùn)動(dòng)估計(jì)和模式?jīng)Q策占了大部分的時(shí)間。所以，研究簡(jiǎn)單快速的算法對(duì)提高H.264/AVC在實(shí)時(shí)領(lǐng)域中的應(yīng)用有著極其重大的意義。</p><p>　　對(duì)H.264的一些主要算法進(jìn)行改進(jìn)，需要完成的主要工作集中在不對(duì)編碼質(zhì)量造成過大影響的前提下減少其編碼時(shí)間提高編碼效率，因此，大部分的研究工作都是為

6、了尋求更合適更快速的算法。</p><p>　　1.2 視頻編碼標(biāo)準(zhǔn)發(fā)展歷程介紹</p><p>　　從1984年CCITT研究組發(fā)布的第一個(gè)視頻領(lǐng)域編碼標(biāo)準(zhǔn)H.120開始，迄今為止已相繼提出了眾多國(guó)際標(biāo)準(zhǔn)。視頻編碼標(biāo)準(zhǔn)發(fā)展至今也有近三十年的歷史，這段歷史的一個(gè)轉(zhuǎn)折點(diǎn)就是1988年CCITT所提出的H.261建議，從這個(gè)轉(zhuǎn)折點(diǎn)開始，國(guó)際標(biāo)準(zhǔn)組織ITU－T、ISO 等開始公布了一系列的以H.

7、261為基礎(chǔ)的視頻編碼標(biāo)準(zhǔn)，從此視頻編碼標(biāo)準(zhǔn)的編碼方法統(tǒng)一采用了基于波形的混合編碼方法。</p><p>　　一些國(guó)際標(biāo)準(zhǔn)組織有聯(lián)合圖像專家組（JPEG，Joint Photographic Experts Group），它是于1986年由ISO和CCITT 聯(lián)合成立的。此外還有活動(dòng)圖像專家組（MPEG，Moving Picture Expert Group），它于1988年由ISO/IEC信息技術(shù)聯(lián)合委員會(huì)組成

8、；并分別在1991 年和1994年公布了MPEG-1 視頻編碼標(biāo)準(zhǔn)以及MPEG-2 視頻編碼標(biāo)準(zhǔn)。</p><p>　　新一代視頻編碼標(biāo)準(zhǔn)H.264 于2003年3月由ITU-T 和ISO/IEC 正式提出，該標(biāo)準(zhǔn)實(shí)現(xiàn)了良好的壓縮效率，同時(shí)對(duì)網(wǎng)絡(luò)具備了良好的親和性和兼容性，對(duì)實(shí)時(shí)系統(tǒng)的應(yīng)用及其有幫助。不久的將來，國(guó)際視頻組織即將推出HIVC，即H.265，可想而知的是該標(biāo)準(zhǔn)的發(fā)布將會(huì)帶來新一輪的研究熱潮，對(duì)視頻的

9、發(fā)展和應(yīng)用也會(huì)產(chǎn)生巨大的影響。</p><p>　　1.2.1 視頻編碼原理</p><p>　　圖像(image)的定義是自然景物中物體反射的可見光的強(qiáng)度，也可以是其它的各類電磁波反射后的強(qiáng)度反映。在圖像信息處理的過程中用數(shù)字來描述圖像中的像素點(diǎn)、強(qiáng)度和顏色等信息。在顯示的時(shí)候，它是通過數(shù)字化的方式將呈現(xiàn)對(duì)象用一定的分辨率加以分辨后對(duì)得到的色彩信息進(jìn)行呈現(xiàn)，如此可以快速顯示在屏幕上[1]

10、。在顯示的過程中分辨率和灰度是主要影響參數(shù)。圖像適用于表現(xiàn)那些含有大量細(xì)節(jié)（如亮度變化、場(chǎng)景變換、輪廓明顯、色彩豐富）的對(duì)象，如：影片、繪畫等。圖像軟件可以對(duì)復(fù)雜圖像進(jìn)行處理，從而得到質(zhì)量更高的圖像，比如提高清晰度或者產(chǎn)生符合個(gè)性要求的特殊效果。</p><p>　　運(yùn)動(dòng)視頻數(shù)據(jù)本質(zhì)上就是時(shí)間順序的圖片序列，而相機(jī)通常每秒產(chǎn)生約24，25，或30幀。這就導(dǎo)致需要處理大量的數(shù)據(jù)，因此需要使用到壓縮技術(shù)。例如：假設(shè)每

11、個(gè)圖片都有一個(gè)相對(duì)較低的QCIF，即176*144樣本，每個(gè)樣本用8個(gè)比特表示，我們每三個(gè)圖片跳過兩個(gè)以削減比特率。對(duì)于彩色圖片，三色組成樣本對(duì)于為每個(gè)像素表現(xiàn)足夠的色彩空間是必要的。即使是傳輸這種相對(duì)低的高保真的圖片序列，原始數(shù)據(jù)源速率仍然超過6Mbit/s。然而，今天低成本的傳輸通道經(jīng)常工作在低得多的數(shù)據(jù)率，從而視頻信號(hào)的數(shù)據(jù)率需要進(jìn)一步壓縮。例如，使用V.34調(diào)制解調(diào)器在撥號(hào)模擬電話線上傳輸率最多為33.4 Kbit/s，我們?nèi)匀?/p>

12、需要進(jìn)一步壓縮視頻碼率至200倍左右（如果音頻同一通道耗時(shí)6 Kbit/s或電話線實(shí)現(xiàn)太吵以至于不能實(shí)現(xiàn)V.34的全比特率，壓縮率將會(huì)更高）。</p><p>　　視頻中的每幅圖像被稱為一幀(flame)，當(dāng)連續(xù)的圖像以每秒超過24幀畫面以上的速度進(jìn)行變化時(shí)，根據(jù)視覺暫留原理可知，人眼是無(wú)法辨別單幅的靜態(tài)畫面的；看上去則近似于平滑連續(xù)的視覺效果，這樣在人眼中形成的連續(xù)的畫面叫做視頻。視頻其實(shí)就是在時(shí)間軸上的一組圖

13、像序列的組合，通常也被稱為視頻圖像、視頻序列等。視頻技術(shù)最早是為了電視系統(tǒng)而發(fā)展，但現(xiàn)在已經(jīng)擴(kuò)展成了多種廣泛應(yīng)用的格式，這樣極大地方便了消費(fèi)者將視頻記錄下來。</p><p>　　從自然世界所獲取的視頻場(chǎng)景屬于模擬視頻信號(hào)，通?？梢员硎緸闀r(shí)間與空間上的連續(xù)函數(shù)[1]。計(jì)算機(jī)內(nèi)部是以數(shù)字形式來描述信息的，為了更方便地用計(jì)算機(jī)對(duì)最終得到的視頻進(jìn)行一些基本操作，如：處理，傳輸、存儲(chǔ)和加工等；需要對(duì)需要處理的模擬信號(hào)進(jìn)行

14、時(shí)間空間域的轉(zhuǎn)換，即是講視頻進(jìn)行數(shù)字化處理，最終將模擬視頻轉(zhuǎn)換為數(shù)字視頻。為把模擬視頻它轉(zhuǎn)換成數(shù)字視頻，需要對(duì)坐標(biāo)和幅度分別進(jìn)行采樣操作。數(shù)字化坐標(biāo)值稱為采樣，包括空間采樣和時(shí)間采樣；而幅度值的數(shù)字化則稱為量化過程。</p><p>　　最終得到的數(shù)字視頻信號(hào)包含了大量的數(shù)據(jù)信息，需要對(duì)其進(jìn)行一定的壓縮編碼才能在實(shí)時(shí)通信系統(tǒng)中得到實(shí)際的應(yīng)用，也即滿足對(duì)網(wǎng)絡(luò)帶寬的要求進(jìn)行實(shí)時(shí)傳輸。</p><p

15、>　　數(shù)據(jù)作為信息的載體，但是數(shù)據(jù)和信息是兩個(gè)不同的概念，終歸不能完全等價(jià)。要想對(duì)數(shù)字視頻進(jìn)行壓縮，就要了解數(shù)字視頻的特點(diǎn)。數(shù)字視頻的一個(gè)獨(dú)特特點(diǎn)就是其具有相關(guān)性。如果能夠利用這些相關(guān)性，對(duì)數(shù)字視頻里的各種信息冗余進(jìn)行去除便能實(shí)現(xiàn)對(duì)視頻信號(hào)的壓縮。一般將數(shù)字視頻信號(hào)中的冗余歸為下面幾類[2]：</p><p>　　A：空間冗余。數(shù)字圖像是視頻的基本元素，數(shù)字圖像的得到要通過對(duì)模擬視頻信號(hào)進(jìn)行空間采樣。這些構(gòu)

16、成圖像的相近像素之間是緊密相關(guān)的，即他們之間的像素值一般是沒有太大的相差的。當(dāng)需要預(yù)測(cè)當(dāng)前像素的數(shù)值時(shí)，可以通過分析其相鄰像素的數(shù)值進(jìn)而通過一些數(shù)學(xué)規(guī)則來進(jìn)行預(yù)測(cè)而達(dá)到目的。</p><p>　　B：時(shí)間冗余。從視覺的理論出發(fā)，視頻是一連串人們看起來連續(xù)的圖像；但實(shí)際上這些圖像之間是有間隔的，也就是不連續(xù)的。視頻幀與幀之間的采樣間隔是非常小的，這是為了滿足人們對(duì)視頻信號(hào)連續(xù)視覺效果的要求。在幾乎靜止不動(dòng)的環(huán)境中，

17、當(dāng)前幀和其鄰近幀的圖像內(nèi)容幾乎是是完全一致的；而在研究場(chǎng)景中變換的運(yùn)動(dòng)目標(biāo)時(shí)，若是能掌握其運(yùn)動(dòng)規(guī)律，也可以很輕易地地由前面幀的圖像推算出它在當(dāng)前幀中的大概位置。這就是視頻序列中的時(shí)間冗余。</p><p>　　C：心理視覺冗余?？偠灾蟛糠智闆r下最終的視頻編碼系統(tǒng)都是由人類視覺系統(tǒng)來接收的。人類視覺系統(tǒng)理論中提到：人類所感知的圖像亮度取決于該點(diǎn)的反射光的強(qiáng)度以及相鄰區(qū)域的光強(qiáng)。而且，對(duì)于不同的視覺信息圖像因素

18、等，人類視覺系統(tǒng)表現(xiàn)出了不一樣的敏感度。視頻中某些信息相比于其他的信息在人類通常的感知過程中更重要，能提供更多的有用信息，也即人眼對(duì)該部分信息的敏感度相對(duì)要高些。如一定幅度值內(nèi)的圖像信息變化如果相比很微小，人眼是感受不到這樣微小的變化的。因此，可以利用人眼視覺系統(tǒng)的這些特點(diǎn)對(duì)視頻信息中的某些信息進(jìn)行去除，這些操作并不會(huì)對(duì)人們?nèi)ジ惺軋D像造成影響，即是不會(huì)降低圖像質(zhì)量。這樣的特性都可以叫做心理視覺冗余，這充分地利用了人眼視覺系統(tǒng)的一些特點(diǎn)。

19、</p><p>　　1.2.2 視頻壓縮編碼標(biāo)準(zhǔn)發(fā)展歷史</p><p>　　視頻壓縮編碼標(biāo)準(zhǔn)主要包括兩個(gè)部分，一個(gè)是由國(guó)際電信聯(lián)盟(ITU)所制定的H．26x系列標(biāo)準(zhǔn)，另一個(gè)是由國(guó)際標(biāo)準(zhǔn)化組織(International Standardization Organization．ISO)和MPEG組織(Moving Picture Expert Group)所制定的MPEG．x系列標(biāo)準(zhǔn)

20、。這些視頻編碼標(biāo)準(zhǔn)都是為了應(yīng)對(duì)不同領(lǐng)域中對(duì)數(shù)字音頻和數(shù)字視頻的不同要求而制定的。</p><p>　　第一個(gè)視頻編碼國(guó)際標(biāo)準(zhǔn)由CCITT公布于1984年，距今已有28年了。例如，3G時(shí)代的來臨帶來了一個(gè)非常重要的概念，即可視電話。由于打破的距離的障礙，在有限的帶寬上實(shí)現(xiàn)了實(shí)時(shí)視頻的傳輸，該技術(shù)一直被認(rèn)為是一種非常理想的通信技術(shù)，可近30 年來至今仍未能得到廣泛的普及，這是因?yàn)闈M足帶寬要求所付出的代價(jià)極高，從而造成

21、性價(jià)比不高。</p><p>　　H.264 視頻壓縮標(biāo)準(zhǔn)由ITU-T/ISO 于2003年3月正式公布，同以往標(biāo)準(zhǔn)相比它具有非常優(yōu)秀的性能，受到了普遍的認(rèn)可。通過每項(xiàng)性能指標(biāo)的對(duì)比可以發(fā)現(xiàn)，在同樣視頻質(zhì)量下將H.264與H.263或MPEG-4進(jìn)行對(duì)比發(fā)現(xiàn)H.264的數(shù)碼率降低了接近一半的倍數(shù)；或者說在碼率相同的條件下，信噪比提高很大。正是因?yàn)镠.264所體現(xiàn)出的良好性能使得其在國(guó)際上受到了廣泛地認(rèn)可和重視。&

22、lt;/p><p>　　下面按時(shí)間順序?qū)讉€(gè)重要的視頻編碼標(biāo)準(zhǔn)作簡(jiǎn)單介紹[1]：</p><p>　　1．MPEG-1標(biāo)準(zhǔn)及MPEG-2標(biāo)準(zhǔn)</p><p>　　MPEG-1標(biāo)準(zhǔn)出版于1992年，是一個(gè)獲得廣泛成功的視頻編解碼器，能夠近似VHS錄像帶的質(zhì)量或更好地將比特率設(shè)定為約1.5 Mbit/s。比特率范圍覆蓋了約1-2 Mbit / s的。MPEG -1的縮寫由運(yùn)

23、動(dòng)圖像專家組制定并被其發(fā)展。MPEG-1視頻（IS 11172-2 ）是ISO/IEC JTC1組織的一個(gè)項(xiàng)目，于1993年獲得批準(zhǔn)。在技術(shù)功能方面，它增加了雙向預(yù)測(cè)幀（B幀）和半像素運(yùn)動(dòng)（半像素運(yùn)動(dòng)已經(jīng)在H.261的發(fā)展過程中提出來過，但當(dāng)時(shí)被認(rèn)為是過于復(fù)雜）。對(duì)數(shù)據(jù)進(jìn)行隨機(jī)訪問的要求和高效壓縮造成了沖突，為了解決這個(gè)問題，MPEG-1定義了四種圖像類型：I幀，P幀，B幀和D圖像。</p><p>　　在 更

24、高 的 比 特 率 操 作 時(shí)，它 提 供 比 H.261更 好 的 質(zhì) 量。（比特率可能低于1兆位/秒，此時(shí)H.261的性能更好，因?yàn)镸PEG -1并沒有設(shè)計(jì)為能夠運(yùn)行在此范圍內(nèi)。）</p><p>　　MPEG -2：在比特率，圖像質(zhì)量和知名度上更上一層樓。 MPEG-2被稱為“21世紀(jì)的電視標(biāo)準(zhǔn)”，不管是標(biāo)準(zhǔn)清晰度還是高清晰度電視（SDTV和HDTV）。 MPEG-2視頻（ISO 13818-2 / ITU

25、-T的H.262 ）的目的是要包括MPEG-1，同時(shí)還要以更高的比特率提供高品質(zhì)隔行掃描的視頻源。MPEG-2視頻作為一個(gè)正式的ISO / IEC JTC1和ITU-T組織的聯(lián)合開發(fā)項(xiàng)目，通常被認(rèn)為是一個(gè)ISO標(biāo)準(zhǔn)，并在1994年年底完成。其主要新技術(shù)特點(diǎn)是高效處理隔行掃描圖片和層次位使用的可擴(kuò)展性。其目標(biāo)比特率范圍約為4-30 Mbit/s。</p><p>　　2．MPEG-4及MPEG-7標(biāo)準(zhǔn)</p&

26、gt;<p>　　MPEG-4標(biāo)準(zhǔn)正式公布于1998年12月。主要是為了滿足窄帶多媒體通信等領(lǐng)域的應(yīng)用要求而制定，其傳輸碼率也限制在64Kbps以下。MPEG-4壓縮編碼部分所采用的壓縮方法的一個(gè)特點(diǎn)就是基于內(nèi)容，使用基于內(nèi)容的方法作為壓縮編碼的一個(gè)重點(diǎn)，這樣做是可以將視頻信息的應(yīng)用從播放型擴(kuò)展到可以進(jìn)行基于內(nèi)容的訪問和操作型，豐富了視頻信息應(yīng)用的領(lǐng)域和方式。</p><p>　　MPEG-4是一個(gè)

27、開放型的標(biāo)準(zhǔn)，對(duì)標(biāo)準(zhǔn)中各種技術(shù)的具體實(shí)現(xiàn)算法不作規(guī)定，由此，研究者可以根據(jù)標(biāo)準(zhǔn)的要求制定出更新更優(yōu)更快速的算法?？梢詫PEG-4當(dāng)做一個(gè)工具箱，隨時(shí)加入新的想法以豐富這個(gè)標(biāo)準(zhǔn)。</p><p>　　MPEG-7(多媒體內(nèi)容描述接口)是對(duì)MPEG-4的進(jìn)一步完善，是為了適應(yīng)新一代的網(wǎng)絡(luò)發(fā)展要求而制定的，為描述各種紛繁復(fù)雜的媒體信息做了一種標(biāo)準(zhǔn)化的規(guī)定，這樣就為信息的描述與媒體內(nèi)容建立了一對(duì)一更加緊密標(biāo)準(zhǔn)的聯(lián)系，極

28、大地方便了用戶對(duì)各種信息進(jìn)行檢索和利用。</p><p><b>　　3.H.263標(biāo)準(zhǔn)</b></p><p>　　1996年3月，ITU—T正式通過了H．263國(guó)際標(biāo)準(zhǔn)。H.263（第1版）是ITU-T項(xiàng)目，并于1996年初批準(zhǔn)（技術(shù)內(nèi)容在1995年年底完成）。是第一個(gè)專門用來處理非常低比特率視頻的編解碼器，其在這一領(lǐng)域的表現(xiàn)仍然是最優(yōu)秀的。H.263是目前最好的

29、實(shí)際視頻通信的標(biāo)準(zhǔn)。原來的目標(biāo)比特率范圍約10-30 Kbit / s的，但在開發(fā)過程中擴(kuò)大，大約為10-2048 Kbit / s。很明顯，它可以在任何比特率優(yōu)于H.261。主要應(yīng)用于視頻會(huì)議會(huì)議、可視電話等跟視頻相關(guān)的通信業(yè)務(wù)。該標(biāo)準(zhǔn)的出現(xiàn)解決了視頻通信領(lǐng)域的大難題，極大地推動(dòng)了通信技術(shù)的發(fā)展，是視頻通信領(lǐng)域的重大突破。新的H.263的關(guān)鍵技術(shù)特點(diǎn)是可變塊大小運(yùn)動(dòng)補(bǔ)償，重疊塊運(yùn)動(dòng)補(bǔ)償，運(yùn)動(dòng)矢量圖片推斷，三維的運(yùn)行水平，最后可變長(zhǎng)度編

30、碼，平均壓預(yù)測(cè)，更高效的開銷信號(hào)（相對(duì)于H.261其特點(diǎn)有算術(shù)編碼，半像素運(yùn)動(dòng)，雙向預(yù)測(cè)。但第一個(gè)特征也包含在JPEG里，其他兩個(gè)則在MPEG -1）。在非常低的比特率（例如，低于30 kbit/s），H.263可使用一半或不到一半的比特率編碼達(dá)到與H.261相同的質(zhì)量。在更高的比特率，例如，高于80千比特</p><p>　　H．263支持5種圖像格式：Sub QCIF(128x96)、QCIF(176x144

31、)、CIF(352x288)、4CⅢ(740x576)、16CIF(1408x1152)，采樣格式為4：2：0。</p><p><b>　　4．H.263 +</b></p><p>　　H.263 +：技術(shù)上是H.263 的第二版。H.263 +項(xiàng)目添加了一些新的可選功能到H.263 。相比于以前標(biāo)準(zhǔn)的H.263+有一個(gè)顯著的技術(shù)進(jìn)步，它是第一個(gè)為無(wú)線或基于分組的

32、傳輸網(wǎng)絡(luò)提供高度的錯(cuò)誤恢復(fù)的視頻編碼標(biāo)準(zhǔn)。H.263 +在壓縮效率的研究、靈活的視頻格式和可擴(kuò)展反向兼容補(bǔ)充方面也增加了一些改進(jìn)。它是在1998年1月由ITU-T批準(zhǔn)，在1997年9月完成技術(shù)含量。它將H.263的有效比特率擴(kuò)展到任何比特率和任何逐行掃描（非交錯(cuò)）圖片格式和幀速率的范圍上， H.263 +的性能在整個(gè)的任何現(xiàn)有標(biāo)準(zhǔn)范圍內(nèi)都是相對(duì)優(yōu)越的。H.263 +項(xiàng)目的第一作者是H.263的編輯也是ITU-T的高級(jí)視頻編碼專家組（SG

33、16Q15）開發(fā)員（主席）。</p><p>　　5．H．264／AVC標(biāo)準(zhǔn)</p><p>　　2003年3月繼H．263標(biāo)準(zhǔn)之后，聯(lián)合視頻專家組(JVT)提出一項(xiàng)最新的視頻編碼標(biāo)準(zhǔn)—H．264建議。ISO將其稱為“ISO／IEC 14496 Partl0高級(jí)視頻編碼算法”(ISO／IEC 14496 1 0 AVC)，把它作為MPEG．4的第十部分。</p><p&

34、gt;　　H．264主要支持4：2：0格式，其它格式如4：2：2和4：4：4則是作為額外的參考信息參數(shù)。支持連續(xù)或隔行視頻的編碼與解碼，編碼圖像類型除了以往標(biāo)準(zhǔn)中有的I幀、P幀和B幀之外，還新定義了SP幀和SI幀。新定義的這些功能可以實(shí)現(xiàn)不同傳輸速率、不同圖像質(zhì)量碼流的條件下的快速切換，同時(shí)還具有快速恢復(fù)丟失的信息等功能。</p><p>　　H．264標(biāo)準(zhǔn)的編碼結(jié)構(gòu)有兩層，分別是VCL視頻編碼層和NAL網(wǎng)絡(luò)抽象

35、層。H.264高效率的壓縮性能的實(shí)現(xiàn)就是由VCL層來完成的，為了解決網(wǎng)絡(luò)適配的問題，需要從具體的傳輸層中將VCL抽象出來，這部分工作是由NAL完成的。要使得碼流適應(yīng)不同環(huán)境的各類信道，需要對(duì)不同網(wǎng)絡(luò)選用一個(gè)最合適的方式對(duì)數(shù)據(jù)進(jìn)行處理、打包和傳送。NAL以NALU為單元，這樣使得在許多基于包交換的技術(shù)網(wǎng)絡(luò)中H.264都能夠能夠完成編碼數(shù)據(jù)流的傳輸?shù)墓δ?，這極大地提高了H.264技術(shù)的網(wǎng)絡(luò)適應(yīng)性。H．264的雙層系統(tǒng)結(jié)構(gòu)在功能上將每一層獨(dú)立

36、起來，各自獨(dú)立完成自身的功能，這樣的層定義極大地優(yōu)化了整個(gè)編碼系統(tǒng)。</p><p>　　1.3 研究工作介紹</p><p>　　本次研究需要深入學(xué)習(xí)H.264協(xié)議，基本掌握整個(gè)視頻編碼的流程及其算法；最重要的是要重點(diǎn)研究H.264模式?jīng)Q策過程和率失真優(yōu)化技術(shù)，同時(shí)要在JM里找到實(shí)現(xiàn)這些技術(shù)的具體程序段?；谶@些基本知識(shí)，對(duì)參考論文進(jìn)行學(xué)習(xí)，提煉出其發(fā)明的快速算法的重要技術(shù)和公式。最后在

37、vs2005的環(huán)境下對(duì)H.264的官方參考軟件JM8.3進(jìn)行修改，實(shí)現(xiàn)快速速率估計(jì)算法。</p><p>　　本設(shè)計(jì)主要內(nèi)容要求有： </p><p>　?。?）速率估計(jì)計(jì)算公式設(shè)計(jì) </p><p>　?。?）對(duì)實(shí)驗(yàn)仿真結(jié)果進(jìn)行分析

38、 </p><p>　?。?）分析該算法的優(yōu)缺點(diǎn) </p><p>　　1.4 論文章節(jié)內(nèi)容安排</p><p>　　論文圍繞如何實(shí)現(xiàn)快速速率估計(jì)算法而展開。</p><p>　　本文共分為五章，組織結(jié)構(gòu)

39、的安排如下：</p><p>　　介紹最新的視頻編碼標(biāo)準(zhǔn)H.264，對(duì)標(biāo)準(zhǔn)的相關(guān)重要技術(shù)做了介紹。</p><p>　　介紹了本次設(shè)計(jì)所要實(shí)現(xiàn)的快速速率算法，同時(shí)描述了幾種相關(guān)技術(shù)原理，如率失真優(yōu)化技術(shù)，CAVLC編碼過程等。</p><p>　　第四章完成實(shí)驗(yàn)結(jié)果的展示，并對(duì)仿真結(jié)果進(jìn)行比對(duì)，分析。</p><p>　　第五章是總結(jié)和展望。

40、對(duì)本文所做的工作進(jìn)行總結(jié)，提出后續(xù)工作的方向。</p><p>　　H.264/AVC視頻編碼協(xié)議</p><p>　　2.1 相關(guān)理論知識(shí)</p><p>　　2.1.1 H.264標(biāo)準(zhǔn)</p><p>　　H.264仍舊吸收了早年的編碼標(biāo)準(zhǔn)中一些較為經(jīng)典的技術(shù)，并在此基礎(chǔ)上提出了新的關(guān)鍵技術(shù)。這些改進(jìn)都能夠滿足現(xiàn)在日益增長(zhǎng)的需求。這些新

41、的關(guān)鍵技術(shù)不僅大大地提高了編碼效率，同時(shí)還在提高壓縮比率方面有很好的表現(xiàn)，這是以往的任何一種編碼標(biāo)準(zhǔn)都無(wú)法達(dá)到的。</p><p>　　H．264標(biāo)準(zhǔn)依舊吸取了早年編碼標(biāo)準(zhǔn)的優(yōu)勢(shì)，編碼方式也沒有大的變化。這個(gè)大的算法框架同以往的編碼標(biāo)準(zhǔn)是相似的，同時(shí)在這些大的算法框架范圍內(nèi)，H.264又提出了很多新的關(guān)鍵技術(shù)，對(duì)視頻編碼流的時(shí)間冗余和空間冗余的去除進(jìn)行了更加細(xì)化的處理。這些新的關(guān)鍵技術(shù)大大提高了視頻的編碼效率，同

42、時(shí)也極大地提高了視頻在傳輸過程中的抗誤碼性能。</p><p>　　從概念出發(fā)，為了滿足網(wǎng)絡(luò)應(yīng)用方面的要求，H．264標(biāo)準(zhǔn)單獨(dú)劃分出網(wǎng)絡(luò)層，從此概念出發(fā)定義了一個(gè)新的概念—網(wǎng)絡(luò)抽象層(NAL)。這樣做使得編碼的視頻流可以通過一個(gè)具體定義的接口在實(shí)際網(wǎng)絡(luò)中進(jìn)行轉(zhuǎn)換和傳輸，也為其它傳輸協(xié)議如H.320、MPEG-4、H.323／IP、MPEG-2等等也提供了一個(gè)入口，由此可以正確的映射到編碼數(shù)據(jù)信息。</p&g

43、t;<p>　　H.264的頒布是視頻領(lǐng)域的一件大事，尤其是對(duì)視頻通信領(lǐng)域造成了很深遠(yuǎn)的影響，極大地推動(dòng)了這個(gè)領(lǐng)域的發(fā)展[2]。H.264標(biāo)準(zhǔn)具有優(yōu)異的壓縮性能和網(wǎng)絡(luò)親和性，同時(shí)在網(wǎng)絡(luò)傳輸性能方面表現(xiàn)也非常優(yōu)秀。這些優(yōu)異的特性使其在視頻通信領(lǐng)域比如無(wú)線移動(dòng)視頻通訊、3G可視電話、網(wǎng)絡(luò)視頻直播、視頻會(huì)議／電話、視頻監(jiān)控、高清晰度數(shù)字電視等方面有了重大的應(yīng)用，其優(yōu)越的性能也使得在這些領(lǐng)域的視頻壓縮方面發(fā)揮了重大的作用。<

44、/p><p>　　2.1.2 基本概念</p><p><b>　　1.宏塊、片及幀</b></p><p>　　待編碼的一個(gè) 圖 像 通 常 被 劃 分 成 若 干 宏 塊，一 個(gè) 宏 塊 由 一 個(gè) 1 6×1 6 亮 度 像 素 和 附 加 的 一 個(gè) 8 ×8 C b 和 一 個(gè)8×8 Cr 彩 色 像

45、素 塊 組 成[1]。H.264／AVC中 常 用 的 幀 為 I 幀，P 幀 以 及B 幀。</p><p>　　P 宏塊是采用幀內(nèi)預(yù)測(cè)方式的，其預(yù)測(cè)是利用先前已編碼圖象作為參考圖象來完成的。一般情況下還要進(jìn)一步地分割一個(gè)幀內(nèi)編碼的宏塊，同時(shí)對(duì)其亮度像素塊以及彩色像素進(jìn)行分割。分割后的模式有16×16、16×8、8×16 、8×8 。另外一點(diǎn)說明是，如果選擇的子宏塊為8&

46、#215;8模式，則可再度細(xì)分成更小的子宏塊，即是8×8、8×4、4×8、4×4 的亮度像素塊，同時(shí)也包括附帶的彩色像素。</p><p>　　此外，在壓縮碼流的過程中，為了實(shí)現(xiàn)不插入I幀的情況下可以對(duì)碼流進(jìn)行隨即切換的功能，H.264／AVC還新定義了兩個(gè)幀類型SI幀(Switching I Picture)和SP(Switching P Picture)幀，加入的這兩個(gè)

47、新的幀類型順應(yīng)了視頻碼流的帶寬適應(yīng)性同時(shí)提高了視頻的抗誤碼性能。</p><p><b>　　2.檔次和級(jí)</b></p><p>　　H.264有三種檔次，即基 本 檔 次、主 要 檔 次、擴(kuò) 展 檔 次。每 個(gè) 檔 次 有特 定的 功 能，適用于特 定的應(yīng) 用。</p><p>　　1）基本檔次：運(yùn)用I片和P片格式，支持幀內(nèi)、幀間編碼，熵編

48、碼方式為CAVLC。主 要 用 于 電視會(huì) 議等講究 實(shí) 時(shí)通信的 視 頻 通領(lǐng) 域；</p><p>　　2）主要檔次：支持視頻的隔行掃描技術(shù)，幀內(nèi)編碼的方式是加權(quán)預(yù)測(cè)法，幀間編碼方式為B片；支持CABAC）。</p><p>　　3）擴(kuò)展檔次：支 持碼 流之間高效的切 換，即 在SP和SI片 間進(jìn) 行 切 換，運(yùn) 用數(shù) 據(jù) 分 割減少誤 碼，不 支 持 隔 行 掃 描 以及 C A B

49、 A C。</p><p><b>　　熵編碼</b></p><p>　　熵 編 碼 是 在 統(tǒng) 計(jì) 意義 上 對(duì) 數(shù) 據(jù) 的 冗 余信息進(jìn)行壓縮的，是一種無(wú)損壓縮編碼方法[3]。熵編碼是基于隨 機(jī) 過 程 的 統(tǒng) 計(jì) 特 性 而建立的一種編碼方法。在視頻編碼時(shí)一般采用Huffman編碼和變長(zhǎng)編碼兩種編碼相結(jié)合的方法， 概 率 大 的 數(shù) 據(jù) 用 短 的 字 長(zhǎng) 來

50、 表 示，概 率 小的數(shù) 據(jù) 用長(zhǎng) 的 字 長(zhǎng) 表 示，從 而 達(dá) 到 降 低 數(shù) 據(jù) 量 提 高 壓 縮 效 率 的 目 的[3]。</p><p>　　熵編碼直接和信號(hào)的傳輸進(jìn)行連接，同時(shí)熵編碼也是編碼器的最后一個(gè)過程。由于熵編碼對(duì)視頻壓縮效率有重大的影響，其壓縮效率對(duì)整個(gè)視頻編碼器也就起著起著非常重要的作用了。H．264中的熵編碼技術(shù)主要包括變長(zhǎng)編碼(VLC)和內(nèi)容自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)，其中V

51、LC又分為指 數(shù) 哥 倫 布 編 碼、內(nèi)容自適應(yīng)變長(zhǎng)編碼(CAVLC)[3]。</p><p>　　2.1.3 視頻編碼標(biāo)準(zhǔn)對(duì)比</p><p><b>　　MPEG-1</b></p><p>　　類型：Audio&Video</p><p>　　制定者：MPEG(Moving Picture Expert

52、Group)</p><p>　　所需頻寬：2Mbps</p><p><b>　　特性：</b></p><p>　　對(duì)于一些運(yùn)動(dòng)范圍較小，運(yùn)動(dòng)不激烈的視頻信號(hào)表現(xiàn)較好，圖像質(zhì)量較高；但當(dāng)運(yùn)動(dòng)范圍較大，動(dòng) 作激 烈時(shí)，會(huì)出現(xiàn)馬 賽 克 現(xiàn) 象。因此這種技術(shù)不能廣泛適用于實(shí)際應(yīng)用中。</p><p>　　優(yōu)點(diǎn)：對(duì)動(dòng)作范圍

53、小，視頻內(nèi)容變化小的視頻信號(hào)可獲得較好的圖像質(zhì)量。</p><p>　　缺點(diǎn)：運(yùn) 動(dòng) 激 烈 時(shí)會(huì)有馬 賽 克現(xiàn) 象。</p><p><b>　　MPEG-2</b></p><p>　　類型：Audio&Video</p><p>　　制定者：MPEG(Moving Picture Expert Group)

54、</p><p>　　所需頻寬：視頻上的頻寬是4.3 Mbps，音頻上最低的采樣率為16kHz</p><p><b>　　特性：</b></p><p>　　編碼碼率的范圍是每秒3兆比特～100兆比特，不同的碼率分別用于不同檔次和不同級(jí)別的視頻壓縮。該圖像壓縮標(biāo)準(zhǔn)達(dá)到了廣播級(jí)質(zhì)量，同時(shí)音質(zhì)也達(dá)到了CD級(jí)別。有三種分級(jí)編碼：空間域分級(jí)、時(shí)間域分

55、級(jí)和信噪比分級(jí)。用于數(shù)字視頻廣播（DVB）、家用DVD 的視頻壓縮及高清晰度電視（HDTV）。MPEG-2對(duì)于不同速率以及不同分辨率的場(chǎng)合都能夠得到應(yīng)用。但出現(xiàn)的一個(gè)問題是，MPEG-2標(biāo)準(zhǔn)所造成的數(shù)據(jù)量很大，這對(duì)存放和傳輸會(huì)有較大的難度。</p><p><b>　　優(yōu)點(diǎn)：</b></p><p>　　MPEG-2可在一個(gè)較大的范圍內(nèi)改變壓縮比，視頻領(lǐng)域存在著不同畫

56、面質(zhì)量、不同存儲(chǔ)容量以及帶寬不同大小，MPEG-2能夠適應(yīng)這些需求。支持隔行掃描視頻格式和其它先進(jìn)功能。</p><p><b>　　缺點(diǎn)：</b></p><p>　　壓縮率比較低，數(shù)據(jù)量依然巨大，數(shù)據(jù)的存放和傳輸仍然難度大。而網(wǎng)絡(luò)方面的應(yīng)用需要比較高的網(wǎng)絡(luò)帶寬，由于帶寬限制該標(biāo)準(zhǔn)不適用于網(wǎng)絡(luò)視頻點(diǎn)播等方面。</p><p><b>

57、;　　MPEG-4</b></p><p><b>　　類型：Video</b></p><p>　　制定者：MPEG(Moving Picture Expert Group)</p><p>　　所需頻寬：128Kbps~38.4Mbps(600kb/s左右)</p><p><b>　　特性：&

58、lt;/b></p><p>　　標(biāo)準(zhǔn)中強(qiáng)調(diào)了多媒體系統(tǒng)的交互性以及靈活性，主要應(yīng)用于可視通信、視頻會(huì)議等。為便于操作和控制對(duì)象，采用基于對(duì)象的編碼方式，MPEG-4 的基于對(duì)象操作使用戶可以直接在終端對(duì)象進(jìn)行拼接操作。適用于頻寬變化大的網(wǎng)絡(luò)，也適用于遠(yuǎn)程監(jiān)控等領(lǐng)域。</p><p>　　優(yōu)點(diǎn)：壓縮效率高，圖像質(zhì)量好，容錯(cuò)性能好，壓縮方式為面向?qū)ο蟆?lt;/p><p

59、>　　缺點(diǎn)：專利收費(fèi)不合理。</p><p>　　2.2 JM編碼原理</p><p>　　2.2.1 編碼原理</p><p>　　H.264編碼器包括幀內(nèi)模式預(yù)測(cè)，運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償，整數(shù)變換，DCT量化，熵編碼，去塊濾波等幾大部分。</p><p>　　編碼過程大致如下，首先編碼器讀入原始圖像，編碼器首先解決的問題是選擇幀間編碼還

60、是幀內(nèi)編碼，該過程需要運(yùn)用一些判決策略來完成。若是選擇幀間編碼，則運(yùn)用運(yùn)動(dòng)估計(jì)算法；若是選擇幀內(nèi)編碼，則采用一些標(biāo)準(zhǔn)定義的預(yù)測(cè)方法，隨后將所得的預(yù)測(cè)值與實(shí)際值進(jìn)行對(duì)比，取一個(gè)差值，該差值就是殘差值。為了有效地?cái)?shù)據(jù)傳輸將數(shù)據(jù)壓縮，還需要對(duì)殘差值進(jìn)行整數(shù)變換、量化、掃描以及熵編碼。最終為了得到重構(gòu)幀，同時(shí)進(jìn)行的還有對(duì)量化后的殘差值進(jìn)行反量化、反變換，將還原的殘差值與前面得到的預(yù)測(cè)值相加重構(gòu)出當(dāng)前圖像的實(shí)際值，最后一步就是進(jìn)行去塊濾波，送入幀

61、存儲(chǔ)器。</p><p>　　2.2.2 編碼一個(gè)宏塊</p><p>　　編碼一個(gè)宏塊的具體過程如下圖1所示：</p><p>　　圖2.1 編碼一個(gè)宏塊的流程圖</p><p>　　2.3 視頻壓縮原理</p><p>　　2.3.1 壓縮原理簡(jiǎn)介</p><p>　　視 頻 信 號(hào)的信息量

62、很大，對(duì)網(wǎng)絡(luò)傳輸所需的帶寬要求也高，因此對(duì)視頻信號(hào) 進(jìn)行壓縮處理非常有必要 。能 否 將在 視 頻 信 號(hào) 傳 送 前 先對(duì)其 進(jìn) 行 壓 縮 編 碼，隨后才 進(jìn) 行 傳 送，由此達(dá)到節(jié) 省 傳 送 帶 寬 和 存 儲(chǔ) 空 間的目的，這樣就提出了一個(gè)很重要的問題—視頻壓縮。</p><p>　　視 頻 質(zhì) 量 有 兩 個(gè) 標(biāo) 準(zhǔn)：主 觀 質(zhì) 量、客觀質(zhì)量；主管質(zhì)量是從 人的 視 覺 上 進(jìn) 行 評(píng) 定的 ；

63、客 觀 質(zhì) 量 則通 用 信 噪 比（S/N）PSNR表 示 。在評(píng)定一個(gè)視頻的好壞時(shí)要綜合考慮主管質(zhì)量和客觀質(zhì)量，兩者不可或缺。很多實(shí)際情況下，這兩個(gè)要求會(huì)有沖突，最佳的質(zhì)量往往是在這兩者之間求一個(gè)最佳的平衡，達(dá)到最好的效果。</p><p>　　壓縮視頻內(nèi)容的方式之一是使用一種編碼語(yǔ)法，如JPEG簡(jiǎn)單地壓縮每幅圖片。最常見的“基線”JPEG方案是將圖像分解成大小相等的塊。這些塊由一個(gè)離散余弦變換（DCT ）

64、進(jìn)行轉(zhuǎn)化，然后DCT系數(shù)進(jìn)行量化并使用可變長(zhǎng)編碼傳輸。因?yàn)樵搱D片的編碼沒有涉及編碼視頻序列中的其他圖片，我們將把這種方式作為幀內(nèi)編碼的編碼方案。事實(shí)上，這種單獨(dú)幀內(nèi)編碼作為一個(gè)視頻編碼方法共同使用在今天的生產(chǎn)質(zhì)量編輯系統(tǒng)，這種方法要求快速訪問視頻內(nèi)容的任何幀。</p><p>　　然而，改進(jìn)壓縮的性能可以通過利用視頻內(nèi)容里存在的大量時(shí)間冗余來達(dá)到。幀間編碼時(shí)我們將運(yùn)用這種技術(shù)。通常情況下，所描繪的場(chǎng)景基本上只是重

65、復(fù)前后的圖片而沒有任何顯著的變化?？梢燥@而易見的是，在更有效地表示視頻這點(diǎn)上，只編碼視頻內(nèi)容的變化比反復(fù)編碼每幀圖片要好得多。使用時(shí)域冗余提高編碼效率的這種能力是視頻壓縮與靜止圖像壓縮的根本區(qū)別。</p><p>　　2.3.2 視頻壓縮的基本方法和技術(shù)</p><p>　　一個(gè)通過只編碼視頻場(chǎng)景的變化來提高視頻壓縮的簡(jiǎn)單方法被稱為有條件補(bǔ)充（ CR ），它是第一個(gè)數(shù)字視頻編碼標(biāo)準(zhǔn)ITU-

66、T建議H.120 [2]里唯一的減少時(shí)間冗余的方法。CR編碼包括兩個(gè)過程，發(fā)送信號(hào)表明圖片的哪些區(qū)域可以被重復(fù)，發(fā)送新的編碼信息取代產(chǎn)生變化的區(qū)域。從而，CR允許為每個(gè)區(qū)域選擇跳過模式和內(nèi)部模式兩種模式之一作為代表。然而，CR編碼有一個(gè)重要的的缺點(diǎn)，即無(wú)法改善一個(gè)近似。通常，前一幀圖片的某個(gè)區(qū)域的內(nèi)容可以是一個(gè)新的圖片很好的近似，只需要一個(gè)小的改動(dòng)就能成為一個(gè)更好的參照。但CR編碼只允許確切的重復(fù)或完全替代每一個(gè)畫面區(qū)域。添加的第三種“

67、預(yù)測(cè)模式” 可以發(fā)送一種精煉幀間差分近似，使得壓縮性能得到進(jìn)一步的改善。</p><p>　　通過加入運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)（ MCP ），幀差細(xì)化的概念也邁出了一步。大多數(shù)視頻內(nèi)容的變化通常是由于相對(duì)的成像平面所描繪的場(chǎng)景中的對(duì)象的移動(dòng)而產(chǎn)生的，即使是少量運(yùn)動(dòng)也可能會(huì)導(dǎo)致圖片區(qū)域中的像素值差異較大，尤其是接近一個(gè)物體的邊緣的區(qū)域。通常情況下，用空間位置的幾個(gè)像素取代前畫面的某個(gè)區(qū)域，這就使得發(fā)送幀差分近似信息的數(shù)量顯著減

68、少。使用這種空間位移形成一個(gè)近似位置的方法被稱為運(yùn)動(dòng)補(bǔ)償，使用編碼器搜索最好的空間位移近似的方法被稱為運(yùn)動(dòng)估計(jì)。</p><p>　　2.3.2 混合編碼解碼器</p><p>　　最成功的視頻壓縮設(shè)計(jì)類被稱為混合編解碼器。這種編碼器的命名是由于其作為一個(gè)移動(dòng)處理和圖像編碼技術(shù)混合體的建設(shè)的原因，編解碼器這個(gè)詞用來指視頻壓縮系統(tǒng)編碼器和解碼器。其設(shè)計(jì)和操作涉及了一些決策的優(yōu)化，包括以下部分

69、：</p><p>　　1.如何將一個(gè)圖片分割成區(qū)域</p><p>　　2.是否完全用新圖片內(nèi)的內(nèi)容更換圖片的各個(gè)區(qū)域 </p><p>　　3.如果不更換新的內(nèi)部?jī)?nèi)容</p><p>　?。╝）如何做運(yùn)動(dòng)估計(jì)，

70、即如何選擇轉(zhuǎn)移的空間位移用于畫面間編碼預(yù)測(cè)。(目前零值位移一個(gè)重要的特殊情況)</p><p>　　（b）如何做DFD的編碼，即如何選擇近似用來作為幀間預(yù)測(cè)的細(xì)化。（零值逼近作為一個(gè)重要的特例）</p><p>　　4.如果新的內(nèi)容更換一個(gè)地區(qū)，發(fā)送一個(gè)近似值作為更換的內(nèi)容。</p><p>　　工程師設(shè)計(jì)這樣一個(gè)視頻編碼系統(tǒng)就引入了一個(gè)問題，即應(yīng)當(dāng)編碼圖像的哪個(gè)部

71、分？應(yīng)使用什么方法編碼？如果可能的運(yùn)作模式在幀內(nèi)編碼時(shí)受到限制和跳過，選擇會(huì)相對(duì)比較簡(jiǎn)單。但混合視頻編解碼器是通過運(yùn)用自適應(yīng)分配部分編碼圖片的操作模式以達(dá)到達(dá)到對(duì)壓縮性能的要求。同時(shí)由于兩個(gè)運(yùn)動(dòng)估計(jì)的影響在幀間編碼D和FD編碼階段之間產(chǎn)生了依賴關(guān)系。這些決定視頻編碼器的設(shè)計(jì)和操作的優(yōu)化是視頻壓縮中的重要內(nèi)容。</p><p><b>　　快速速率估計(jì)算法</b></p><

72、;p>　　3.1 H.264模式?jīng)Q策過程</p><p>　　每個(gè)16×16宏塊可以有以下兩種待選編碼類型:Intra4×4和Intra16×16。不同于與其它視頻標(biāo)準(zhǔn)的Intra編碼，H.264的幀內(nèi)編碼是參考空間域中已編碼的鄰居，對(duì)其進(jìn)行采樣進(jìn)而作預(yù)測(cè)編碼的。幀內(nèi)模式?jīng)Q策有以下常用準(zhǔn)則：</p><p>　　1.利用相鄰塊預(yù)測(cè)模式的相關(guān)性為準(zhǔn)則；&l

73、t;/p><p>　　2.利用結(jié)合全零塊提前終止的準(zhǔn)則；</p><p>　　3.基于紋理特征的預(yù)測(cè)模式塊尺寸預(yù)先選擇準(zhǔn)則；</p><p>　　4.通過量化系數(shù)QP進(jìn)行判斷；</p><p>　　當(dāng)前幀或塊的編碼模式在7 種幀間或17 種幀內(nèi)模式中間選擇。7種幀間模式分別是：16x16、16x8、8x16、8x8、8x4、4x8、4x4，相應(yīng)的

74、模式編號(hào)為1-7。17 種幀內(nèi)模式分別是：9 種基于 4x4 塊進(jìn)行亮度分量預(yù)測(cè)的幀內(nèi)模式，基于宏塊進(jìn)行亮度分量預(yù)測(cè)的4 種模式和相同塊色度分量預(yù)測(cè)的4 種模式[4]。需要注意的一點(diǎn)是，幀間預(yù)測(cè)中，若是要選擇8x4,4x8 和4x4 的分塊首先要完成先選擇一個(gè)宏塊再將其細(xì)分成4個(gè)8×8模塊。</p><p>　　H．264／AVC標(biāo)準(zhǔn)的幀間模式選擇算法是針對(duì)多參考幀進(jìn)行全搜索運(yùn)動(dòng)估計(jì)算法，該算法也是基于

75、RDO策略的。模式選擇的大致過程是：</p><p>　　編碼器先對(duì)幀間預(yù)測(cè)模式的8種（ SKIP，M_16x16，M_16x8，M_8x16，M_8x8，M _8x4，M_4x8，M_4×4）待選模式分別進(jìn)行殘差塊的計(jì)算，SAD定義為即當(dāng)前宏塊與參考宏塊之間的差值。然后對(duì)比經(jīng)過R-D代價(jià)函數(shù)計(jì)算后的數(shù)值，確定R-D代價(jià)最小的模式選項(xiàng)。幀間預(yù)測(cè)模式的判決所采用的方法同幀內(nèi)的情況是一致的，這意味著，編碼器

76、需要嘗試所有的模式組合，包括不同的幀內(nèi)及幀間預(yù)測(cè)模式，同時(shí)要編碼所有的模式組合。</p><p>　　JM采用這樣的判決策略，類似用窮盡所有預(yù)測(cè)模式的方法，參考了多個(gè)幀的優(yōu)點(diǎn)是保證了視頻的質(zhì)量，性能好，使得在碼率優(yōu)化方面也有了很大的提高，以較小的碼率傳輸內(nèi)容更大的視頻信息?？上攵氖沁@樣的窮盡算法需要極大的運(yùn)算量，計(jì)算方案也是相對(duì)復(fù)雜的，這些都極大地影響了編碼對(duì)實(shí)時(shí)性的要求。</p><p&

77、gt;　　3.1.1 率失真優(yōu)化策略 </p><p>　　率失真優(yōu)化( Rate Distortion Optimized) 策略是基于率 失 真 理 論，在其基礎(chǔ)之上提出的一種代價(jià)函數(shù)方案。它 在 網(wǎng) 絡(luò) 傳 輸 和 編 碼 技 術(shù) 中 有 著 廣 泛 的 應(yīng)用[5]。 H.264/ AVC引入了RDO作為算法中的代價(jià)函數(shù)策略，在模式?jīng)Q策的過程中就是運(yùn)用RDO進(jìn)行代價(jià)的計(jì)算，相比于以往的傳統(tǒng)代價(jià)計(jì)算函數(shù)，該

78、方法的應(yīng)用使得編碼效率有了極大的提高。</p><p>　　RDO 在計(jì)算代價(jià)函數(shù)時(shí)，由于碼率和失真度都成為了代價(jià)大小的制約因素，這樣的制約關(guān)系體現(xiàn)在為了利于視頻數(shù)據(jù)流的傳輸還在低失真度的條件下保證低的碼率。H.264中有三個(gè)地方運(yùn)用到了RDO代價(jià)函數(shù)，他們分別是運(yùn)動(dòng)搜索、參考幀擇優(yōu)、模式?jīng)Q策，但他們所使用的代價(jià)函數(shù)有一定的區(qū)別。在某些情況下也將非RDO代價(jià)函數(shù)即without RDO 列為可選模式, 以滿足不同

79、的需要[6]。</p><p>　　H.264 編碼標(biāo)準(zhǔn)采用率失真優(yōu)化對(duì)各宏塊的所有待選編碼模式逐一進(jìn)行選擇并且從算法的角度進(jìn)行一定的優(yōu)化。為了給每一個(gè)宏塊選擇出最佳編碼模式, H.264 編碼器對(duì)7種編碼模式分別計(jì)算率失真代價(jià)值。</p><p>　　拉格朗日率失真代價(jià)函數(shù)如下:</p><p><b>　?。?） </b></p&

80、gt;<p>　　其中：D 和R 分別為宏塊編碼的失真度的表征和碼率；λmode為拉格朗日乘子。</p><p>　　H.264的模式選擇中對(duì)幀內(nèi)模式的選擇需要進(jìn)行592次率失真代價(jià)的計(jì)算；對(duì)幀間模式的選擇還涉及到運(yùn)動(dòng)搜索、運(yùn)動(dòng)補(bǔ)償、變換、量化、編碼等步驟。 </p><p>　　對(duì)不同紋理特性的圖像子塊圖像，各個(gè)預(yù)測(cè)模式中還定義了更多的預(yù)測(cè)選項(xiàng)以應(yīng)對(duì)不同的紋理方向，從而

81、要保證其預(yù)測(cè)的準(zhǔn)度。預(yù)測(cè)時(shí)，每個(gè)單獨(dú)的塊都要全部使用到所有定義的預(yù)測(cè)選項(xiàng)進(jìn)行預(yù)測(cè)，得出每種預(yù)測(cè)選項(xiàng)下相應(yīng)的SAD值，其實(shí)該SAD值就是上式中定義的D，最終根據(jù)SAD值確定最優(yōu)預(yù)測(cè)選項(xiàng)。由于設(shè)計(jì)了針對(duì)不同紋理方向的多種預(yù)測(cè)選項(xiàng)，即使是不同類型的圖像，這種預(yù)測(cè)方法也能夠以較小的誤差逼近實(shí)際的真實(shí)值?？臻g域幀內(nèi)預(yù)測(cè)算法在這里起到了相當(dāng)重要的作用。SAD指的是原始?jí)K與重構(gòu)塊之間的絕對(duì)誤差總和，計(jì)算的公式如下：</p><p&

82、gt;<b>　?。?）</b></p><p>　　fc(x，y)、fs(x，y)分別表示重構(gòu)圖像和原始圖像的像素值。</p><p>　　3.2.1 CAVLC編碼 </p><p>　　熵的大小與信源的概率模型是密切相關(guān)的，那么信源的熵隨著各個(gè)符號(hào)的概率不同而不同。熵取得極大值發(fā)生在當(dāng)信源中各事件的發(fā)生等概分布時(shí)。這個(gè)極大值與當(dāng)前信源的

83、熵的差值反映了信息冗余度的高低。冗余度越低，信息所攜帶的內(nèi)容也就是信息量越大，對(duì)提高后面的視頻壓縮效率也就越有益。視頻壓縮的一項(xiàng)重要技術(shù)就是熵編碼。H.264的熵編碼包括兩類，CAVLC和CABAC。下面重點(diǎn)介紹CAVLC編碼理論及其原理。</p><p>　　CAVLC是基于上下文的自適應(yīng)變長(zhǎng)編碼。視頻塊經(jīng)過整形變換和量化后，大部分系數(shù)都是0，只有較少的一部分非零數(shù)據(jù)集中在較低頻率部分。針對(duì)這樣的特點(diǎn)運(yùn)用游程編

84、碼能夠極大地減少編碼所需的碼字子長(zhǎng)。H.264標(biāo)準(zhǔn)中分別定義了不同的碼表，以便于對(duì)亮度塊和色度塊的編碼進(jìn)行直接查詢。</p><p>　　在CAVLC 中，對(duì)各個(gè)系數(shù)的幅值大小、空間位置進(jìn)行獨(dú)立的編碼。殘差數(shù)據(jù)經(jīng)過變換量化后所產(chǎn)生的數(shù)據(jù)呈現(xiàn)出一些較為明顯的特點(diǎn)：非零系數(shù)的數(shù)量較少，幅值也小，并且大部分都在低頻部分；其他大部分?jǐn)?shù)據(jù)則變成了零，并且主要出現(xiàn)在高頻區(qū)域。</p><p>　　CA

85、VLC編碼的每個(gè)子塊總共含有5個(gè)部分，分別是非零系數(shù)CoeffToken、正負(fù)1標(biāo)記或拖尾系數(shù)TrailingonesFlag、非0系數(shù)幅值Level、0系數(shù)總個(gè)數(shù)Totalzeros和非0系數(shù)間連0總個(gè)數(shù)Runbefore。</p><p>　　下面舉例說明CAVLC對(duì)五種系數(shù)的具體編碼過程：</p><p><b>　　編碼過程：</b></p>&

86、lt;p>　　一個(gè)4*4塊的數(shù)據(jù)如下：</p><p><b>　　{</b></p><p>　　0、3、-1、 0、</p><p><b>　　0、-1、1、0、</b></p><p><b>　　1、0、0、0、</b></p><p>

87、<b>　　0、0、0、0、</b></p><p><b>　　}</b></p><p>　　數(shù) 據(jù) 重 排 列：0，3，0，1，-1，-1，0，1，0……</p><p><b>　　1） </b></p><p>　　初 始 值 設(shè) 定：</p><

88、p>　　非 零 系 數(shù) 的 數(shù) 目（TotalCoeffs）=5;</p><p>　　拖 尾 系 數(shù) 的 數(shù) 目（TrailingOnes）=3;</p><p>　　最 后 一 個(gè) 非 零 系 數(shù) 前 零 的 數(shù) 目（Total_zeros） = 3； </p><p><b>　　變 量NC=1; </b></p>&

89、lt;p>　　suffixLength = 0； </p><p>　　i = TotalCoeffs = 5; </p><p>　　2） 編 碼coeff_token： </p><p>　　查 標(biāo) 準(zhǔn)（BS ISO/IEC 14496-10:2003），可 得： </p><p>　　If (TotalCoeffs == 5 &a

90、mp;& TrailingOnes == 3 && 0 <= NC < 2) </p><p>　　coeff_token = 0000 100; </p><p>　　Code = 0000 100; </p><p>　　3） 編 碼 所 有 TrailingOnes 的 符 號(hào)： </p><p>　

91、　逆 序 編 碼，三 個(gè) 拖 尾 系 數(shù) 的 符 號(hào) 依 次 是 ＋（0），－（1），－（1）； </p><p><b>　　即: </b></p><p>　　TrailingOne sign[i--] = 0; </p><p>　　TrailingOne sign[i--] = 1; </p><p>　　Tra

92、ilingOne sign[i--] = 1; </p><p>　　Code = 0000 1000 11; </p><p>　　4） 編 碼 除 了 拖 尾 系 數(shù) 以 外 非 零 系 數(shù) 幅 值Levels： </p><p><b>　　過 程 如 下： </b></p><p>　?。?）將 有 符 號(hào) 的L

93、evel[ i ]轉(zhuǎn) 換 成 無(wú) 符 號(hào) 的levelCode； </p><p>　　如 果Level[ i ]是 正 的，levelCode = (Level[ i ]<<1) – 2; </p><p>　　如 果Level[ i ]是 負(fù) 的，levelCode = - (Level[ i ]<<1) – 1; </p><p>　

94、?。?）計(jì) 算level_prefix：level_prefix = levelCode / (1<<suffixLength)； </p><p>　　查 表 可 得 所 對(duì) 應(yīng) 的bit string； </p><p>　　（3）計(jì) 算level_suffix：level_suffix = levelCode % (1<<suffixLength)； <

95、/p><p>　?。?）根 據(jù) suffixLength 的 值 來 確 定 后 綴 的 長(zhǎng) 度； </p><p>　　（5）suffixLength updata： </p><p>　　If ( suffixLength == 0 ) </p><p>　　suffixLength++； </p><p>　　els

96、e if ( levelCode > (3<<suffixLength-1) && suffixLength <6) </p><p>　　suffixLength++; </p><p>　　依 然 按 照 逆 序，Level[i--] = 1；（此時(shí)i = 1） </p><p>　　levelCode = 0；level

97、_prefix = 0； </p><p>　　查 表 可 得level_prefix = 0時(shí) 對(duì) 應(yīng) 的bit string = 1； </p><p>　　因 為suffixLength初 始 化 為 0，故 該 Level沒 有 后 綴； </p><p>　　因 為suffixLength = 0，故 suffixLength++； </p>

98、<p>　　Code = 0000 1000 111； </p><p>　　編 碼 下 一 個(gè) Level：Level[0] = 3； </p><p>　　levelCode = 4；level_prefix = 2；查 表 得bit string = 001； </p><p>　　level_suffix = 0；suffixLength = 1

99、；故 碼 流為0010； </p><p>　　Code = 0 0 0 0 1 0 0 0 1 1 1 0 0 1 0； </p><p>　　i = 0，編 碼 Level 結(jié) 束。 </p><p>　　5）編 碼 最 后 一 個(gè) 非 零 系 數(shù) 前 零 的 數(shù) 目 （TotalZeros）： </p><p>　　查 表 當(dāng)

100、 TotalCoeffs = 5，total_zero = 3時(shí)，bit string = 111； </p><p>　　Code = 0000 1000 1110 0101 11； </p><p>　　6） 對(duì) 每 個(gè) 非 零 系 數(shù) 前 零 的 個(gè) 數(shù) （RunBefore） 進(jìn) 行 編 碼： </p><p>　　i = TotalCoeffs = 5；Z

101、erosLeft = Total_zeros = 3；查 表 </p><p>　　依 然 按 照 逆 序 編 碼 </p><p>　　ZerosLeft =3, run_before = 1 run_before[4]=10; </p><p>　　ZerosLeft =2, run_before = 0 run_before[3]=1; </p>

102、<p>　　ZerosLeft =2, run_before = 0 run_before[2]=1; </p><p>　　ZerosLeft =2, run_before = 1 run_before[1]=01; </p><p>　　ZerosLeft =1, run_before = 1 run_before[0] 不 需 要 碼 流 來 表 示 </p>

103、;<p>　　Code = 0000 1000 1110 0101 1110 1101； </p><p><b>　　編 碼 完 畢 。</b></p><p>　　3.2 快速速率估計(jì)算法</p><p>　　為了估計(jì)量化變換后的系數(shù)，我們需要對(duì)CAVLC五種不同類型的符號(hào)分別進(jìn)行估計(jì)。</p><p>

104、;　　1、非0系數(shù)標(biāo)記(非0系數(shù)個(gè)數(shù)，拖尾系數(shù))</p><p>　　編碼系數(shù)標(biāo)記的比特消耗與非0系數(shù)個(gè)數(shù)是成正比的；由VLC 碼表也可得到編碼系數(shù)標(biāo)記的比特消耗與拖尾系數(shù)個(gè)數(shù)成反比?；谶@些準(zhǔn)則可以推導(dǎo)出下面的表達(dá)式[8]：</p><p><b>　?。?）</b></p><p>　　Tc：非0系數(shù)的總個(gè)數(shù)，To：拖尾系數(shù)的個(gè)數(shù)，ω1，ω

105、2， ω3為權(quán)重因子。經(jīng)過對(duì)不同類型序列(Akiyo, Foreman, Stefan, Mobile, Table Tennis, Paris)的實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)ω1，ω2， ω3分別取1,1,0時(shí)，率失真性能最優(yōu)。</p><p><b>　　2、正負(fù)1標(biāo)記</b></p><p>　　對(duì)每一個(gè)To，用一個(gè)比特編碼標(biāo)記（0=+，1=-）。編碼拖尾系數(shù)的比特?cái)?shù)按如下公式

106、計(jì)算[8]：</p><p><b>　　（4）</b></p><p>　　3、除拖尾系數(shù)之外的非零系數(shù)的幅值(Levels)進(jìn)行編碼</p><p>　　通過對(duì)level-VLC碼表觀察可知，比特的需要量同非零系數(shù)的量級(jí)成正比。編碼幅值信息的比特如下式所示：</p><p><b>　?。?）</b&

107、gt;</p><p><b>　　其中定義如下：</b></p><p><b>　?。?）</b></p><p>　　是第k個(gè)非零系數(shù)的絕對(duì)值，是量化殘差塊所有幅值的絕對(duì)值總和，是一個(gè)正數(shù)常量。通過改變的值發(fā)現(xiàn)當(dāng)其值為1時(shí)結(jié)果更好。</p><p>　　4、對(duì)最后一個(gè)非零系數(shù)前零的數(shù)目(Tot

108、alZeros)進(jìn)行編碼</p><p>　　編碼所需的比特率與TotalZeros的個(gè)數(shù)成正比，故可以設(shè)計(jì)下面的公式[8]：</p><p><b>　?。?）</b></p><p>　　為最后一個(gè)非零系數(shù)前零的數(shù)目，同樣的方法可以設(shè)定=1。</p><p>　　5、對(duì)每個(gè)非零系數(shù)前零的個(gè)數(shù)(RunBefore)進(jìn)行

109、編碼</p><p>　　非零系數(shù)的變化有一些規(guī)律，這些系數(shù)之間都有一定的相關(guān)性，零系數(shù)的游程編碼也具有一定特性。由VLC碼表可以看出，比特率與高頻部分非零系數(shù)游程數(shù)有以下關(guān)系：</p><p><b>　?。?）</b></p><p>　　是編碼塊第k個(gè)非零系數(shù)的頻率，運(yùn)用前面相同的辦法得出的值為0.3</p><p&g