三維電視中虛擬視點(diǎn)合成的技術(shù)研究.pdf

1、隨著三維成像產(chǎn)品在新興市場(chǎng)上的開(kāi)拓，三維視頻已成為近年來(lái)研究的活躍領(lǐng)域。相比于現(xiàn)有的二維產(chǎn)品，三維視頻是能夠提供更加逼真和身臨其境的感性體驗(yàn)的關(guān)鍵所在。在三維視頻的眾多應(yīng)用中，三維電視(Three-dimensionaltelevision，3DTV)被認(rèn)為會(huì)引領(lǐng)下一代的電視革命。立體顯示是3DTV目前的主流技術(shù)，而自動(dòng)立體顯示則是其中一種具有廣闊應(yīng)用前景的解決方案，它需要更多的研究工作以解決其中的技術(shù)困難。多視點(diǎn)視頻(Multi-vi

2、ewvideo，MVV)技術(shù)可以滿足眾多用戶同時(shí)觀看電視的需求，因而它會(huì)在未來(lái)得到更多的關(guān)注和發(fā)展。在多視點(diǎn)視頻中，視點(diǎn)數(shù)量的多少?zèng)Q定了觀看質(zhì)量的高低，但是，現(xiàn)實(shí)情況中攝像機(jī)成本的限制使得人們無(wú)法同時(shí)獲得足夠多的視點(diǎn)，而虛擬視點(diǎn)的合成可以達(dá)到此目的。
　　 基于深度的圖像繪制(Depth-image-basedrendering，DIBR)是一種基于參考視點(diǎn)圖像和相關(guān)的深度信息來(lái)繪制目標(biāo)視點(diǎn)圖像的方法。它由于具有較好的編碼效率、

3、2D/3D選擇性、用戶交互性等優(yōu)點(diǎn)，近些年來(lái)備受關(guān)注。目前已經(jīng)有一些基于DIBR的虛擬視點(diǎn)合成方法，然而，在DIBR中仍存在一些問(wèn)題，如重疊問(wèn)題、重采樣問(wèn)題、空洞問(wèn)題等，這些問(wèn)題需要得到有效的解決，才能得到高質(zhì)量的虛擬視點(diǎn)。
　　 針對(duì)DIBR中存在的問(wèn)題，本文重點(diǎn)研究了多視點(diǎn)視頻中虛擬視點(diǎn)的合成技術(shù)，提出了兩種不同的方法來(lái)改進(jìn)DIBR，分別是基于DIBR的任意視點(diǎn)合成方法和可用于深度攝像機(jī)的彩色圖像生成方法:
　　 (

4、1)提出了一種通過(guò)利用兩個(gè)相鄰參考視點(diǎn)的圖像和相應(yīng)的深度圖來(lái)生成任意視點(diǎn)并提高虛擬視點(diǎn)圖像質(zhì)量的方法。該方法的主要特點(diǎn)是沒(méi)有直接對(duì)深度圖進(jìn)行預(yù)處理，而是采取了一種折中的方式來(lái)?yè)P(yáng)長(zhǎng)避短。與之前方法中采用的復(fù)雜的補(bǔ)洞算法或耗時(shí)巨大的圖像修復(fù)技術(shù)相比，該方法僅采用一些基本的基于像素點(diǎn)的操作來(lái)填補(bǔ)虛擬視點(diǎn)圖像中的暴露區(qū)域。本文提出了一種利用深度信息的水平、垂直和對(duì)角外推法來(lái)填充圖像中的細(xì)小空洞。為避免偽影問(wèn)題的產(chǎn)生，對(duì)空洞圖中的空洞邊緣進(jìn)行形態(tài)

5、學(xué)擴(kuò)展。在進(jìn)行圖像互補(bǔ)和圖像融合之后，得到主虛擬視圖，然后把執(zhí)行深度圖處理再進(jìn)行各步操作之后得到的虛擬視點(diǎn)圖像當(dāng)作副虛擬視圖對(duì)主虛擬視圖進(jìn)行剩余空洞的填充，從而得到最終的虛擬視點(diǎn)圖像。
　　 (2)提出了一種利用一個(gè)參考視點(diǎn)的圖像和相應(yīng)的深度圖來(lái)繪制以深度攝像機(jī)為目標(biāo)視點(diǎn)的虛擬彩色圖像的方法。該方法沒(méi)有在對(duì)參考視點(diǎn)進(jìn)行三維圖像變換之前進(jìn)行深度圖預(yù)處理，因?yàn)檫@樣會(huì)對(duì)虛擬視圖造成幾何畸變。本文提出了一種計(jì)算像素點(diǎn)權(quán)值的方法，在圖像映