立體視頻虛擬視點生成關鍵技術研究.pdf

1、近兩年來，計算機多媒體領域發(fā)展迅速，從3D電影的流行到虛擬現(xiàn)實（VR）的火爆，無一不表明了人們在蓬勃發(fā)展的大娛樂時代對于視覺感官享受的不斷追求。立體視頻通過同時向人的左右眼輸入左右兩路不同的視頻，模擬人在場景中左右兩眼看到的不同景象，給人帶來沉浸的3D體驗。伴隨著3D電影行業(yè)和虛擬現(xiàn)實技術的迅猛發(fā)展，通過普通的2D視頻轉(zhuǎn)制生成可以觀看的立體視頻，可以提供更多的視頻內(nèi)容源，引起了越來越廣泛的關注。
　　立體視頻生成是通過給定的平面視

2、頻，生成虛擬視點的視頻，兩路視頻疊加從而給人帶來視覺沖擊效果。在眾多的虛擬視點生成算法中，基于深度圖像的虛擬視點生成（Depth Image Based Rendering）是目前主流的技術途徑。它主要包含兩個部分，首先是場景的深度信息估計，然后基于估計得到的深度信息進行虛擬視點的映射重建。根據(jù)以上思路，本文提出兩種立體視頻生成的方法。一種是傳統(tǒng)的先通過算法進行圖像的深度估計得到深度信息，再通過視點合成算法合成虛擬視點圖像，最終生成立體

3、視頻；另外一種是基于卷積神經(jīng)網(wǎng)絡深度學習技術，通過設計卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)，端到端的直接從一路圖像生成虛擬視點圖像，從而合成立體視頻。
　　針對傳統(tǒng)的虛擬視點合成技術途徑中的深度信息估計和視點合成兩部分，本文分別提出了不同的解決方法以增強其視點合成圖像質(zhì)量。針對深度信息估計部分，本文提出了基于級聯(lián)隨機森林的深度圖像超分辨率模型；針對視差圖像優(yōu)化，分別提出了基于顯著性原理的視差非線性變換和基于運動信息的RGBD時域視差圖像優(yōu)化方法；針對