深度視頻預(yù)處理及其編碼技術(shù)研究.pdf

1、自由視點(diǎn)視頻系統(tǒng)(FVV,Free viewpoint video)能夠提供更加真實(shí)的視覺感受，應(yīng)用前景廣闊。但FVV的數(shù)據(jù)量巨大，因此多視點(diǎn)彩色加深度(MVD,Multi-view video plus depth)成為 FVV的主流視頻格式，MVD的每個(gè)視點(diǎn)均包括彩色視頻及深度視頻，利用基于深度圖繪制(DIBR,Depth image based rendering)技術(shù)能夠由少數(shù)的已知視點(diǎn)繪制多個(gè)虛擬視點(diǎn)，從而大大降低FVV的數(shù)據(jù)

2、量。其中，深度視頻表征的是目標(biāo)物體與相機(jī)間的距離信息，紋理較為簡(jiǎn)單。由于深度視頻獲取技術(shù)限制，現(xiàn)有的深度視頻主要通過深度估計(jì)獲得，但這種深度視頻不夠準(zhǔn)確，紋理信息較為豐富，嚴(yán)重影響虛擬視點(diǎn)質(zhì)量和編碼性能。同時(shí)3D-HEVC(3D High Efficiency Video Coding)深度視頻幀內(nèi)編碼復(fù)雜度過高，阻礙了MVD視頻的實(shí)時(shí)傳輸。本文研究深度視頻預(yù)處理及其編碼技術(shù)，擬提高虛擬視點(diǎn)質(zhì)量及深度視頻編碼性能，主要包括以下三個(gè)部分。

3、
　　(1)估計(jì)的深度圖中含有豐富的紋理信息和深度突變，不僅在編碼時(shí)會(huì)浪費(fèi)更多的碼率，還會(huì)影響虛擬視點(diǎn)的圖像質(zhì)量。針對(duì)這種問題，本文首先采用一種能夠在平滑深度紋理的同時(shí)保護(hù)邊緣的濾波器處理深度視頻。其次，通過由相機(jī)參數(shù)確定的自適應(yīng)閾值檢測(cè)深度突變。當(dāng)左視點(diǎn)的深度值由低到高突變時(shí)或右視點(diǎn)的深度值由高到低突變時(shí)會(huì)在虛擬視點(diǎn)中出現(xiàn)空洞。對(duì)于左視點(diǎn)，在左邊的突變會(huì)自適應(yīng)處理直到檢測(cè)不到突變；對(duì)于右視點(diǎn)，在右邊的突變用同樣的方法處理。實(shí)驗(yàn)結(jié)

4、果表明，上述方法平均節(jié)省了24.88％的深度視頻編碼碼率，并且虛擬視點(diǎn)的圖像質(zhì)量也得到了顯著增強(qiáng)。
　　(2)深度視頻的不同區(qū)域?qū)μ摂M視點(diǎn)的質(zhì)量影響不同，本文提出了一種基于區(qū)域特征分析的深度視頻處理算法。首先，使用聚類算法將深度視頻自適應(yīng)地分為五類，同時(shí)檢測(cè)深度圖的邊緣并將邊緣塊化。其次，對(duì)于非邊緣像素，采用基于類特點(diǎn)的濾波器進(jìn)行處理。最后，分別對(duì)彩色和深度視頻進(jìn)行角點(diǎn)檢測(cè)并將檢測(cè)到的角點(diǎn)塊化，根據(jù)邊緣像素是否在彩色和深度的角點(diǎn)交

5、集區(qū)域內(nèi)而采用不同窗口尺寸的中值濾波。實(shí)驗(yàn)結(jié)果表明，本算法能夠?qū)⑻摂M視點(diǎn)的客觀質(zhì)量平均提高0.43dB，并顯著提高虛擬視點(diǎn)的主觀質(zhì)量。
　　(3)不準(zhǔn)確的深度視頻會(huì)影響虛擬視點(diǎn)質(zhì)量及編碼性能，且3D-HEVC的深度視頻幀內(nèi)編碼復(fù)雜度過高，為此本文提出了一種3D-HEVC深度視頻幀內(nèi)快速編碼算法。首先，在編碼前先處理深度視頻；其次，通過機(jī)器學(xué)習(xí)預(yù)測(cè)最大編碼單元(LCU,Largest coding unit)的最大劃分深度；最后根據(jù)