基于紋理分解-合成重建的視頻編碼研究.pdf

1、圖像、視頻是通信系統(tǒng)主要的傳輸、處理對象,而視頻壓縮技術(shù)是各類視頻處理應(yīng)用的基礎(chǔ)。當(dāng)前,H.264視頻編碼標(biāo)準(zhǔn)已經(jīng)將混合編碼框架的壓縮率提升到了非常高的水平,并且已經(jīng)逐步推廣,但是H.264的性能提高主要來自于對已有標(biāo)準(zhǔn)的細(xì)節(jié)進行改進,而非提出一個新的框架。學(xué)術(shù)界與工業(yè)界依然在努力將當(dāng)前的編碼效率再提高一倍,而為了進一步提高圖像或視頻壓縮效率,研究者已經(jīng)將目光投向了如何利用視覺冗余,其中一個重要的方面是將計算機視覺的一些技術(shù)成果應(yīng)用到圖

2、像與視頻的壓縮中來。與傳統(tǒng)的視頻編碼理論相比,計算機視覺與圖形學(xué)從完全不同的理論角度出發(fā),其目的不在于重建無失真的信號,而是生成一些具有可接受的主觀質(zhì)量的自然場景。在自然視頻序列中,有某些特定的內(nèi)容人眼無法進行精確的感知,例如重復(fù)出現(xiàn)的視覺模式、紋理等等。人眼往往只能從中提取語義信息(如顏色、位置、意義等),而不能確切地分析每一個獨立的視覺模式。這就允許我們在編碼的時候可以超越香農(nóng)信息論的限制,允許一定的不確定性甚至誤差。只要圖像和視頻

3、接收者無法觀察到這種誤差,我們就可以在不損失視覺質(zhì)量的前提下提高壓縮效率?；谶@種思維,我們可以在原始視頻中去除或者簡化一些信息,例如空間上重復(fù)出現(xiàn)的高頻紋理信息,或者易于重建的平滑部分,從而在編碼過程節(jié)省碼字,然后根據(jù)提取的同質(zhì)的視覺模式,在解碼端重建具有相似主觀質(zhì)量的內(nèi)容,是謂分解—合成重建。目前的文獻(xiàn)已經(jīng)證明了此方案在提高壓縮效率上的可行性,但這些方案還不統(tǒng)一,對于不同的具體問題,存在各自的局限,很難形成一種廣泛認(rèn)可的新框架。主要

4、的問題包括如何在復(fù)雜的自然圖像中提取視覺模式、如何傳遞邊信息、傳遞何種邊信息,以及如何保證重建的內(nèi)容在時間域上的穩(wěn)定性。本文在這些研究的基礎(chǔ)上,提出基于紋理分解—合成重建的視頻編碼框架,將原始視頻序列的部分采樣進行一定的前處理,如濾波,從而簡化原始信號,達(dá)到提高壓縮效率的目的。同時對濾波器進行設(shè)計,以使其能夠區(qū)別地對待視頻序列中不同的內(nèi)容,使得重要的結(jié)構(gòu)信息得以保留。本文也提供了相應(yīng)的重建方案,充分利用視頻信號時域上的相關(guān)特性,在未經(jīng)預(yù)

5、處理的視頻中尋找丟失的細(xì)節(jié)信息。由于紋理重建方法一般具有隨機性,會造成幀與幀信息之間在時間上的不一致,針對由此帶來的閃爍效應(yīng),我們首先使用了3D的時—空聯(lián)合重建方案,將視頻內(nèi)容看作三維的數(shù)據(jù)樣本,以此為單位去搜索丟失得細(xì)節(jié)信息,從而保留物體真實的運動軌跡。我們同時提供了兩種不同的樣本匹配方案以適應(yīng)不同的情況,最終,每一個像素會根據(jù)搜索得到的細(xì)節(jié)樣本進行更新,獲得最優(yōu)的估計。接下來,我們從另外一種角度去實現(xiàn)對空間、時間信息的聯(lián)合利用。在這

6、一方案中,我們將視頻幀信息視為一個動力系統(tǒng)在不同時間上的狀態(tài),而實際獲得的簡化信號則是觀察值。我們在控制論的框架下利用卡爾曼濾波進行系統(tǒng)狀態(tài)估計,從而對幀信息細(xì)節(jié)進行重建,同時我們引入了高斯過程回歸來描述系統(tǒng)的狀態(tài)模型。我們提出的是一個框架性的算法,可以非常靈活地適用于不同情況。本課題的主要應(yīng)用在于視頻壓縮,可以作為低碼率壓縮時的一種選項。實驗結(jié)果表明采用本文提出的編碼框架可以取得相比標(biāo)準(zhǔn)H.264更高的編碼效率,同時可以保證解碼端獲得