面向自由視點(diǎn)系統(tǒng)的虛擬視點(diǎn)繪制技術(shù)研究.pdf

1、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和多媒體等相關(guān)領(lǐng)域技術(shù)的涌現(xiàn)帶來了新一代多媒體技術(shù)-自由視點(diǎn)視頻( Free-viewpoint Video, FVV)技術(shù)的飛速發(fā)展。FVV允許用戶在一定范圍內(nèi)交互式地選擇觀看位置和方向并且能使用戶體會(huì)場景的深度感。因此，F(xiàn)VV引起了各界廣泛關(guān)注，并且廣泛地應(yīng)用于商業(yè)和娛樂方面。視頻數(shù)據(jù)采集、視頻數(shù)據(jù)傳輸和虛擬視點(diǎn)繪制是FVV系統(tǒng)中的三個(gè)重要環(huán)節(jié)，這幾個(gè)環(huán)節(jié)都與深度圖密切相關(guān)。深度視頻是通過深度傳感器或者深度估

2、計(jì)算法這兩種方式得到，目前，這兩種方式獲取的深度視頻信息均不準(zhǔn)確。直接導(dǎo)致了虛擬視點(diǎn)繪制的映射位置錯(cuò)誤，造成幾何失真，尤其是深度值突變易處使前景對象像素映射到背景，產(chǎn)生“虛影”、“橡皮擦”和空洞等效應(yīng)嚴(yán)重影響觀看效果。因此，在傳輸端對深度視頻進(jìn)行矯正預(yù)處理具有重要意義。FVV系統(tǒng)中需要傳輸大量數(shù)據(jù)信息，巨大的數(shù)據(jù)量負(fù)擔(dān)使得高效、低復(fù)雜度的編碼方式成為研究熱點(diǎn)。然而，高壓縮率必然帶來深度圖失真，因此，編碼造成的深度失真影響了虛擬視點(diǎn)質(zhì)量這

3、一挑戰(zhàn)性問題亟待解決。本文從繪制產(chǎn)生的虛擬視點(diǎn)質(zhì)量的角度出發(fā)，針對FVV系統(tǒng)中深度視頻預(yù)處理、深度視頻壓縮以及解碼端深度視頻恢復(fù)重建這幾個(gè)關(guān)鍵挑戰(zhàn)性問題，展開了虛擬視點(diǎn)繪制技術(shù)研究。
　　針對深度視頻在空間上不連續(xù)，造成虛擬視點(diǎn)幾何失真的問題。本文提出了基于消除突變的自適應(yīng)深度視頻預(yù)處理方法。首先得出了空洞尺寸大小與相鄰深度值建立的關(guān)系模型，在此模型的基礎(chǔ)上，計(jì)算相鄰像素深度值的差值以標(biāo)記深度突變區(qū)域。然后，在深度突變區(qū)域，使突變

4、深度值以等步長緩慢變化。實(shí)驗(yàn)結(jié)果表明，與采用未經(jīng)過平滑處理的深度視頻繪制的方法相比，本文方法產(chǎn)生虛擬視點(diǎn)主客觀質(zhì)量都有提高?？陀^上，峰值信噪比( Peak Signal-to-Noise Ratio, PSNR)提高了0.03~0.14dB；主觀上，對象邊緣的“毛刺”得到明顯修復(fù)，邊緣變得更加清晰。
　　針對深度視頻傳輸過程面臨的深度不連續(xù)、傳輸數(shù)據(jù)量大以及深度失真造成繪制失真一系列問題，本文提出了一種深度傳輸新方法，該方法從深度

5、預(yù)處理、深度壓縮以及深度后處理三個(gè)角度解決深度視頻傳輸?shù)膯栴}。(1)預(yù)處理深度視頻常用的方式是深度視頻進(jìn)行整體濾波，保護(hù)對象邊緣區(qū)域進(jìn)行局部濾波等方式。這些濾波方式都沒有從深度值變化對繪制產(chǎn)生影響的角度考慮。本文提出了無繪制失真高斯濾波，結(jié)合3D-warping映射方程，得到繪制深度無失真范圍。根據(jù)該范圍指導(dǎo)高斯濾波，與Zhao方法相比，本文方法魯棒性強(qiáng)，同時(shí)適用于匯聚序列和平行序列，而Zhao方法只適用于平行序列。(2)為了減少傳輸所

6、需帶寬、降低編碼復(fù)雜度，將上述基于深度無失真范圍高斯濾波后的深度視頻進(jìn)行1/4下采樣。(3)針對深度視頻在下采樣時(shí)丟失大量信息，并且在編碼時(shí)也會(huì)產(chǎn)生量化失真問題。本文傳輸方法在解碼端對上采樣后的深度視頻進(jìn)行自適應(yīng)恢復(fù)重建?；谙袼仡l率、距離和相似度三個(gè)因素，建立自適應(yīng)深度后處理濾波模型，該模型能自適應(yīng)地調(diào)節(jié)三種函數(shù)的比例。實(shí)驗(yàn)結(jié)果表明本文深度視頻傳輸方法不僅能節(jié)省53.87％~73.62%的編碼碼率，而且能很好地恢復(fù)重建下采樣深度視頻，