用于立體視頻的虛擬視點(diǎn)合成方法研究.pdf

1、近年來(lái)，立體視頻憑借其強(qiáng)烈的真實(shí)感、突出的交互性逐漸進(jìn)入了家庭和大眾娛樂(lè)市場(chǎng)。隨之而來(lái)的是，三維電影在各大影院紛紛上映，以迅猛之勢(shì)占據(jù)了電影產(chǎn)業(yè)的制高點(diǎn);三維電視(Three-dimensional television，3DTV)逐漸取代高清電視（High Definition Television，HDTV），成為電視領(lǐng)域的先鋒引領(lǐng)者。多視點(diǎn)視頻、自由視點(diǎn)視頻的最大特點(diǎn)是具有極佳的用戶交互性，比如，觀眾可以根據(jù)自己的喜好自由選擇觀看

2、的角度。在這一類(lèi)視頻應(yīng)用中，多個(gè)視點(diǎn)的視頻信息是必不可少的，并且視點(diǎn)的數(shù)量是決定視頻效果的關(guān)鍵因素。但同時(shí)這也對(duì)網(wǎng)絡(luò)帶寬和攝像成本提出了嚴(yán)峻的挑戰(zhàn)。因此，虛擬視點(diǎn)合成方法的重要性日益凸顯。
　　在眾多已有的視點(diǎn)合成方法中，基于深度圖像的渲染(Depth-image-based rendering，DIBR)是一種典型且有效的方法。它是在已知參考視點(diǎn)彩色圖像及其深度信息的基礎(chǔ)上，通過(guò)三維圖像變換來(lái)繪制虛擬視點(diǎn)圖像的方法。它憑借較低的

3、復(fù)雜度、較高的渲染質(zhì)量等優(yōu)點(diǎn)，成為視點(diǎn)合成領(lǐng)域的研究熱點(diǎn)。近幾年，經(jīng)過(guò)眾多研究者的努力，目前已有一些較好的科研成果。然而，視點(diǎn)合成的質(zhì)量仍然受到一些問(wèn)題的限制，如偽影問(wèn)題、重疊問(wèn)題、重采樣問(wèn)題、空洞問(wèn)題等。只有更好地解決這些問(wèn)題，才有可能獲得高質(zhì)量的虛擬視圖，從而獲得令人滿意的視覺(jué)體驗(yàn)。
　　針對(duì)DIBR中常見(jiàn)的幾個(gè)問(wèn)題，本文分別基于空域和空時(shí)域相結(jié)合兩個(gè)方面，提出了兩種不同的方法來(lái)改進(jìn)DIBR方法，分別是基于逆向映射和加入深度信

4、息的圖像修復(fù)算法的DIBR方法以及基于雙向映射的空時(shí)域相結(jié)合的DIBR方法。
　　第一種方法提出利用逆向映射獲得虛擬視圖并使用改進(jìn)的圖像修復(fù)方法進(jìn)行空洞填充。該方法用逆向映射取代了傳統(tǒng)的正向映射，巧妙地解決重疊、重采樣問(wèn)題;提出一種改進(jìn)的加入深度信息的圖像修復(fù)方法，有針對(duì)性地選擇背景信息對(duì)空洞區(qū)域進(jìn)行填充，其中的改進(jìn)包括優(yōu)先級(jí)計(jì)算公式的優(yōu)化以及最佳匹配塊搜索原則的改進(jìn)，前者可以確保獲得一種最佳的修復(fù)順序，后者則是提高空洞填充準(zhǔn)確性

5、的關(guān)鍵步驟。
　　第二種方法提出利用空域與時(shí)域相結(jié)合的方式實(shí)現(xiàn)更準(zhǔn)確有效地空洞填充。該方法在傳統(tǒng)的基于空域信息的補(bǔ)洞方法的基礎(chǔ)上，加入了時(shí)域信息作為參考，因此可以獲得更高質(zhì)量的虛擬視圖;而相較于其他的空時(shí)域相結(jié)合的視點(diǎn)合成方法，該方法并沒(méi)有對(duì)整個(gè)背景信息進(jìn)行復(fù)原，而是針對(duì)空洞區(qū)域進(jìn)行反向搜索，定位目標(biāo)區(qū)域，實(shí)現(xiàn)有針對(duì)性的背景復(fù)原，從而大大降低了算法的數(shù)據(jù)量和復(fù)雜度。進(jìn)行背景復(fù)原后的目標(biāo)區(qū)域可以用于填充虛擬視圖中的部分空洞，而剩余的