立體視頻虛擬視點(diǎn)生成關(guān)鍵技術(shù)研究.pdf

1、近兩年來(lái)，計(jì)算機(jī)多媒體領(lǐng)域發(fā)展迅速，從3D電影的流行到虛擬現(xiàn)實(shí)（VR）的火爆，無(wú)一不表明了人們?cè)谂畈l(fā)展的大娛樂(lè)時(shí)代對(duì)于視覺(jué)感官享受的不斷追求。立體視頻通過(guò)同時(shí)向人的左右眼輸入左右兩路不同的視頻，模擬人在場(chǎng)景中左右兩眼看到的不同景象，給人帶來(lái)沉浸的3D體驗(yàn)。伴隨著3D電影行業(yè)和虛擬現(xiàn)實(shí)技術(shù)的迅猛發(fā)展，通過(guò)普通的2D視頻轉(zhuǎn)制生成可以觀看的立體視頻，可以提供更多的視頻內(nèi)容源，引起了越來(lái)越廣泛的關(guān)注。
　　立體視頻生成是通過(guò)給定的平面視

2、頻，生成虛擬視點(diǎn)的視頻，兩路視頻疊加從而給人帶來(lái)視覺(jué)沖擊效果。在眾多的虛擬視點(diǎn)生成算法中，基于深度圖像的虛擬視點(diǎn)生成（Depth Image Based Rendering）是目前主流的技術(shù)途徑。它主要包含兩個(gè)部分，首先是場(chǎng)景的深度信息估計(jì)，然后基于估計(jì)得到的深度信息進(jìn)行虛擬視點(diǎn)的映射重建。根據(jù)以上思路，本文提出兩種立體視頻生成的方法。一種是傳統(tǒng)的先通過(guò)算法進(jìn)行圖像的深度估計(jì)得到深度信息，再通過(guò)視點(diǎn)合成算法合成虛擬視點(diǎn)圖像，最終生成立體

3、視頻；另外一種是基于卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)，通過(guò)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，端到端的直接從一路圖像生成虛擬視點(diǎn)圖像，從而合成立體視頻。
　　針對(duì)傳統(tǒng)的虛擬視點(diǎn)合成技術(shù)途徑中的深度信息估計(jì)和視點(diǎn)合成兩部分，本文分別提出了不同的解決方法以增強(qiáng)其視點(diǎn)合成圖像質(zhì)量。針對(duì)深度信息估計(jì)部分，本文提出了基于級(jí)聯(lián)隨機(jī)森林的深度圖像超分辨率模型；針對(duì)視差圖像優(yōu)化，分別提出了基于顯著性原理的視差非線性變換和基于運(yùn)動(dòng)信息的RGBD時(shí)域視差圖像優(yōu)化方法；針對(duì)