自由視點(diǎn)立體電視系統(tǒng)的虛擬視點(diǎn)合成技術(shù)研究.pdf

1、自由視點(diǎn)立體電視（Free Viewpoint Television，F(xiàn)TV）系統(tǒng)作為三維電視（Three-Dimensional Television，3DTV）系統(tǒng)的又一技術(shù)突破，可以給觀眾帶來(lái)身臨其境的立體感受。通過(guò)同時(shí)顯示多路（N≥9）視點(diǎn)的視頻信息，它不僅能夠支持多用戶觀看，還能夠產(chǎn)生小范圍連續(xù)視差場(chǎng)以支持觀眾的頭部運(yùn)動(dòng)。在FTV系統(tǒng)中，由于傳輸帶寬和存儲(chǔ)空間的限制，通常僅傳輸兩到三路視點(diǎn)的視頻加深度信息，其余視點(diǎn)信息主要通過(guò)

2、基于深度圖像的繪制技術(shù)（Depth Image Based Rendering，DIBR）合成得到。
　　DIBR作為FTV系統(tǒng)中虛擬視點(diǎn)圖像合成的關(guān)鍵技術(shù)，盡管有諸多優(yōu)點(diǎn)，但是仍存在一定的缺陷。深度圖錯(cuò)誤和視點(diǎn)間物體遮擋關(guān)系的變化是導(dǎo)致虛擬視點(diǎn)圖像中出現(xiàn)空洞、虛擬邊緣和幾何形變等問(wèn)題的主要原因。本文圍繞FTV系統(tǒng)中的虛擬視點(diǎn)繪制過(guò)程，提出了基于深度修正和DIBR技術(shù)的虛擬視點(diǎn)合成方法。
　　本文將整個(gè)虛擬視點(diǎn)合成方法分為發(fā)

3、送端和接收端。發(fā)送端的深度圖修正部分基于低秩估計(jì)模型和Mean Shift算法，通過(guò)對(duì)前景運(yùn)動(dòng)物體和背景的分離，實(shí)現(xiàn)了針對(duì)深度圖前景缺失錯(cuò)誤和背景深度錯(cuò)誤的修正，解決了虛擬視點(diǎn)圖像中由深度圖錯(cuò)誤所造成的幾何形變和圖像斷裂等問(wèn)題。與此同時(shí)，發(fā)送端通過(guò)對(duì)不同視點(diǎn)的參考圖像進(jìn)行色彩校正，降低背景中因圖像融合所產(chǎn)生的色彩差異給圖像質(zhì)量帶來(lái)的影響。
　　在接收端中，基于分層和過(guò)采樣的DIBR技術(shù)將參考圖像分為非邊緣區(qū)域、前景邊緣區(qū)域和背景邊

4、緣區(qū)域三部分。通過(guò)對(duì)邊緣區(qū)域和非邊緣區(qū)域采用不同的采樣方式，分層進(jìn)行映射。在多視點(diǎn)圖像融合的過(guò)程中，本文采用先非邊緣區(qū)域，再前景邊緣區(qū)域，最后背景邊緣區(qū)域的順序進(jìn)行融合，在減少物體邊緣空洞的同時(shí)，可以避免虛假邊緣的產(chǎn)生。最后，根據(jù)低秩估計(jì)模型中得到的背景深度信息，采用反向映射的方法對(duì)空洞區(qū)域進(jìn)行填補(bǔ)。
　　實(shí)驗(yàn)證明，基于深度修正和DIBR技術(shù)的虛擬視點(diǎn)合成方法解決了空洞區(qū)域、虛假邊緣和幾何形變等多種問(wèn)題，可以在FTV系統(tǒng)中被用于合