基于紋理分解-合成重建的視頻編碼研究.pdf

1、圖像、視頻是通信系統(tǒng)主要的傳輸、處理對(duì)象,而視頻壓縮技術(shù)是各類視頻處理應(yīng)用的基礎(chǔ)。當(dāng)前,H.264視頻編碼標(biāo)準(zhǔn)已經(jīng)將混合編碼框架的壓縮率提升到了非常高的水平,并且已經(jīng)逐步推廣,但是H.264的性能提高主要來自于對(duì)已有標(biāo)準(zhǔn)的細(xì)節(jié)進(jìn)行改進(jìn),而非提出一個(gè)新的框架。學(xué)術(shù)界與工業(yè)界依然在努力將當(dāng)前的編碼效率再提高一倍,而為了進(jìn)一步提高圖像或視頻壓縮效率,研究者已經(jīng)將目光投向了如何利用視覺冗余,其中一個(gè)重要的方面是將計(jì)算機(jī)視覺的一些技術(shù)成果應(yīng)用到圖

2、像與視頻的壓縮中來。與傳統(tǒng)的視頻編碼理論相比,計(jì)算機(jī)視覺與圖形學(xué)從完全不同的理論角度出發(fā),其目的不在于重建無失真的信號(hào),而是生成一些具有可接受的主觀質(zhì)量的自然場(chǎng)景。在自然視頻序列中,有某些特定的內(nèi)容人眼無法進(jìn)行精確的感知,例如重復(fù)出現(xiàn)的視覺模式、紋理等等。人眼往往只能從中提取語(yǔ)義信息(如顏色、位置、意義等),而不能確切地分析每一個(gè)獨(dú)立的視覺模式。這就允許我們?cè)诰幋a的時(shí)候可以超越香農(nóng)信息論的限制,允許一定的不確定性甚至誤差。只要圖像和視頻

3、接收者無法觀察到這種誤差,我們就可以在不損失視覺質(zhì)量的前提下提高壓縮效率?；谶@種思維,我們可以在原始視頻中去除或者簡(jiǎn)化一些信息,例如空間上重復(fù)出現(xiàn)的高頻紋理信息,或者易于重建的平滑部分,從而在編碼過程節(jié)省碼字,然后根據(jù)提取的同質(zhì)的視覺模式,在解碼端重建具有相似主觀質(zhì)量的內(nèi)容,是謂分解—合成重建。目前的文獻(xiàn)已經(jīng)證明了此方案在提高壓縮效率上的可行性,但這些方案還不統(tǒng)一,對(duì)于不同的具體問題,存在各自的局限,很難形成一種廣泛認(rèn)可的新框架。主要

4、的問題包括如何在復(fù)雜的自然圖像中提取視覺模式、如何傳遞邊信息、傳遞何種邊信息,以及如何保證重建的內(nèi)容在時(shí)間域上的穩(wěn)定性。本文在這些研究的基礎(chǔ)上,提出基于紋理分解—合成重建的視頻編碼框架,將原始視頻序列的部分采樣進(jìn)行一定的前處理,如濾波,從而簡(jiǎn)化原始信號(hào),達(dá)到提高壓縮效率的目的。同時(shí)對(duì)濾波器進(jìn)行設(shè)計(jì),以使其能夠區(qū)別地對(duì)待視頻序列中不同的內(nèi)容,使得重要的結(jié)構(gòu)信息得以保留。本文也提供了相應(yīng)的重建方案,充分利用視頻信號(hào)時(shí)域上的相關(guān)特性,在未經(jīng)預(yù)

5、處理的視頻中尋找丟失的細(xì)節(jié)信息。由于紋理重建方法一般具有隨機(jī)性,會(huì)造成幀與幀信息之間在時(shí)間上的不一致,針對(duì)由此帶來的閃爍效應(yīng),我們首先使用了3D的時(shí)—空聯(lián)合重建方案,將視頻內(nèi)容看作三維的數(shù)據(jù)樣本,以此為單位去搜索丟失得細(xì)節(jié)信息,從而保留物體真實(shí)的運(yùn)動(dòng)軌跡。我們同時(shí)提供了兩種不同的樣本匹配方案以適應(yīng)不同的情況,最終,每一個(gè)像素會(huì)根據(jù)搜索得到的細(xì)節(jié)樣本進(jìn)行更新,獲得最優(yōu)的估計(jì)。接下來,我們從另外一種角度去實(shí)現(xiàn)對(duì)空間、時(shí)間信息的聯(lián)合利用。在這

6、一方案中,我們將視頻幀信息視為一個(gè)動(dòng)力系統(tǒng)在不同時(shí)間上的狀態(tài),而實(shí)際獲得的簡(jiǎn)化信號(hào)則是觀察值。我們?cè)诳刂普摰目蚣芟吕每柭鼮V波進(jìn)行系統(tǒng)狀態(tài)估計(jì),從而對(duì)幀信息細(xì)節(jié)進(jìn)行重建,同時(shí)我們引入了高斯過程回歸來描述系統(tǒng)的狀態(tài)模型。我們提出的是一個(gè)框架性的算法,可以非常靈活地適用于不同情況。本課題的主要應(yīng)用在于視頻壓縮,可以作為低碼率壓縮時(shí)的一種選項(xiàng)。實(shí)驗(yàn)結(jié)果表明采用本文提出的編碼框架可以取得相比標(biāo)準(zhǔn)H.264更高的編碼效率,同時(shí)可以保證解碼端獲得