2D視頻轉3D視頻的空洞處理方法研究.pdf

1、隨著顯示設備的發(fā)展，3D電視在市場上普及開來，裸眼3D電視也正在進入人們的生活。3D顯示給觀眾帶來了更真實更震撼的體驗，供給裸眼顯示設備的多視點內容卻遠遠不能滿足廣大消費者的需求。3D內容的欠缺是目前制約3D推廣發(fā)展的因素之一，因此2D轉3D或者雙目轉多目技術就成為3D視頻生成的關鍵技術?；谏疃葓D的繪制(Depth Image Based Rendering，DIBR)因為兼容性好、質量較高、靈活性強等特點成為3D內容制作的重要方法。

2、利用通常的圖像數據和對應的深度圖可以合成虛擬視點圖像，虛擬視點圖像和原圖像有可調節(jié)的視差，多幅虛擬視點圖像就和原圖一起組成了多視點內容，在立體顯示設備播放。利用已有的視頻內容生成供裸眼顯示設備播放的多視點內容成為市場的迫切需求。基于深度圖繪制的虛擬視點生成主要分為三步:深度圖獲取及處理、3D變換、空洞處理。由于場景中物體具有不同的景深及遮擋關系，在當前視點中被遮擋的物體或背景，在虛擬視點中可能暴露出來。暴露的區(qū)域因缺乏有效信息，常稱為空

3、洞?？斩磪^(qū)域處理不當，會嚴重影響觀眾的視覺體驗。視頻中通常有各種各樣的場景，情況復雜，合成空洞區(qū)域真實的內容非常具有挑戰(zhàn)性。因此空洞區(qū)域的處理就成為DIBR過程中重要的環(huán)節(jié)?？臻g一致性和時域穩(wěn)定性是虛擬視點的兩個重要因素，滿足這兩點就可以給觀眾良好的視覺體驗。采用簡單的算法填補空洞區(qū)域，常會造成紋理錯位、模糊，邊緣瑕疵，幀間閃爍等問題。本文針對基于深度圖繪制方法生成的虛擬視點存在空洞這一問題，分析總結已有算法，將圖像鄰域及視頻幀間信息用

4、于填補空洞，以改善虛擬視點圖像質量。本文詳細討論實現(xiàn)了深度圖質量對虛擬視點合成的影響、基于圖像修復的快速填補和基于樣例的空洞填補方法，改善了虛擬視點的質量。
　　 本文主要從以下幾個方面展開了工作:
　　 1)深度圖預處理方面，重點實現(xiàn)比較了雙邊濾波，聯(lián)合雙邊濾波、時空域結合的濾波對深度圖質量的改進，實驗通過深度圖預處理改進虛擬視點質量的途徑。
　　 2)針對邊緣插值法在填補空洞時瑕疵明顯的缺點，利用圖像快速修復

5、技術，對空洞區(qū)域進行填補，修復過程中利用方向化的快速行進法，從背景向前景進行修復，保證了距離初始邊界較近的點優(yōu)先修復。該方法為鄰域方法，計算相對簡單，紋理簡單區(qū)域能較好修復;修復過程不受深度圖質量影響。
　　 3)對視頻中空洞，采用基于圖像樣例塊的修復方法，對空洞區(qū)域進行幀間或鄰域采樣，尋找與空洞點鄰域最相似圖像塊來填補當前空洞。利用視頻的幀間信息，對當前視點遮擋的區(qū)域，通過在其他幀中搜索對應信息的出現(xiàn)，填補此類空洞。本文主要分