基于圖像修復(fù)的虛擬視點合成算法研究.pdf

1、一部3D大片《阿凡達》，揭開了“3D元年”的序幕，也讓“3D”概念在國內(nèi)市場風生水起。國內(nèi)外各大電視廠商紛紛力推旗下3D電視，得益于大規(guī)模集成電路及信息技術(shù)的進步，原本價格高昂的3D電視進入了尋常百姓家。在硬件廠商力推3D電視普及的同時，3D內(nèi)容極其匱乏的事實，也成為了業(yè)內(nèi)專家、普通老百姓關(guān)注的焦點。3D內(nèi)容缺失導(dǎo)致3D電視不能使用的現(xiàn)象一旦發(fā)生，將對后續(xù)3D電視的發(fā)展產(chǎn)生巨大的阻礙作用。據(jù)對國內(nèi)視頻影視內(nèi)容市場進行的統(tǒng)計，3D內(nèi)容在整

2、個內(nèi)容市場中的總量不超過1％，即便加上新制作的內(nèi)容，短期內(nèi)3D格式的也很難提升到10％以上。
　　 因此，若想將3D影像技術(shù)融入一般人的生活當中，勢必要讓3D內(nèi)容能輕易產(chǎn)生且快速地制作。這也成為眾多電視廠商和電視節(jié)目制作公司正在竭盡全力試圖解決的難題。在現(xiàn)有3D視頻拍攝技術(shù)不完善、拍攝成本高昂、片源匱乏的情況下，二維到三維視頻轉(zhuǎn)換技術(shù)成了業(yè)界公認的最佳解決方案，其中虛擬視點合成是二維到三維視頻轉(zhuǎn)換過程中的關(guān)鍵技術(shù)?；谏疃葓D像的

3、繪制(DepthImageBasedRendering，DIBR)是近年來才新興的虛擬視點合成技術(shù)，它利用參考圖像及其對應(yīng)的深度圖像通過三維圖像變換（3DImageWarp）生成目標視點圖像，具有繪制速度快，帶寬需求小的優(yōu)點。該技術(shù)的一個主要問題是目標視點圖像內(nèi)部存在暴露區(qū)域，即空洞問題?？斩词怯捎趨⒖家朁c圖像中一些不可見的像素點在目標視點圖像中成為可見點而引起的現(xiàn)象。為獲得高質(zhì)量的目標視點圖像，DIBR技術(shù)需要和數(shù)字圖像處理技術(shù)相結(jié)合

4、來填補空洞。目前空洞填補主要采用以下三種的方法:深度圖預(yù)處理法、多參考視點繪制法、空洞后處理法。但深度圖預(yù)處理法會使虛擬視點圖像中物體產(chǎn)生明顯的幾何失真，當虛擬視點與源參考視點較遠時，空洞填補效果也并不明顯;利用多個參考視點來繪制虛擬視點不僅計算復(fù)雜度高且需要很大的傳輸帶寬;簡單地采用背景、紋理、相鄰像素對空洞進行填補或者對空洞邊緣進行線性插值效果并不理想。
　　 本文在對雙目立體視覺以及三維立體顯示技術(shù)簡要介紹的基礎(chǔ)上，引出了

5、虛擬視點合成技術(shù)，并著重介紹了DIBR技術(shù)原理及技術(shù)難點，并提出了基于圖像修復(fù)的虛擬視點合成算法。該算法分為兩個部分，首先提出了“基于圖像修復(fù)后處理的虛擬視點合成算法”，接著對上述算法進行了改進，提出了“基于深度圖分層的虛擬視點合成算法”。該算法有效填補了虛擬視點目標圖像中出現(xiàn)的空洞，減少了圖像失真，從而生成高質(zhì)量的虛擬視點圖像。
　　 第一部分，根據(jù)DIBR和圖像修復(fù)的原理提出了“基于圖像修復(fù)后處理的虛擬視點合成算法”，該算法

6、將深度圖像預(yù)處理和圖像修復(fù)相結(jié)合來填補DIBR三維圖像變換后產(chǎn)生的空洞。相比傳統(tǒng)的DIBR算法，本文算法可以填補較大的空洞，提高了繪制圖像質(zhì)量，取得了一定的效果。
　　 第二部分，本文在第一部分中所提出的算法是針對DIBR三維圖像變換后產(chǎn)生的空洞進行填補，包括對深度圖預(yù)處理以及對虛擬視點圖像中的空洞進行圖像修復(fù)。由于該算法計算量比較大、空洞填補的效果也不是很理想，我們想到先對深度圖像進行分層來區(qū)分前景和背景，再對前景邊緣易產(chǎn)生空