多視點(diǎn)信息融合與合成技術(shù)研究.pdf

1、立體視頻(Three Dimension Video,3DV)作為一種新型的視覺(jué)信息媒體,已經(jīng)深入到了人們生活、工作和娛樂(lè)的各個(gè)方面。與傳統(tǒng)的二維視頻相比,立體視頻可以向用戶提供場(chǎng)景中的深度信息,產(chǎn)生更加真實(shí)生動(dòng)的視覺(jué)效果;但同時(shí)也具有數(shù)據(jù)量龐大、數(shù)據(jù)相關(guān)性復(fù)雜等特點(diǎn),這對(duì)立體視頻系統(tǒng)的推廣與普及帶來(lái)的巨大挑戰(zhàn)。
　　近年來(lái),立體視頻體系中相關(guān)技術(shù)的研究已經(jīng)成為國(guó)際視頻研究領(lǐng)域的熱點(diǎn)問(wèn)題。對(duì)三維場(chǎng)景信息更加有效的采集、表示、編碼、

2、合成以及顯示,是研究立體視頻必須解決的重要問(wèn)題。目前,立體視頻的標(biāo)準(zhǔn)化進(jìn)程已經(jīng)啟動(dòng),并且將多視點(diǎn)視頻(Multi-view Video)以及多視點(diǎn)紋理加深度視頻(Multi-view plus depth)作為立體視頻的主要表示形式。在編碼端對(duì)多視點(diǎn)視頻信號(hào)的壓縮編碼效率,以及在終端合成的虛擬視點(diǎn)質(zhì)量,將成為影響整個(gè)立體視頻體系的關(guān)鍵環(huán)節(jié)。本文針對(duì)這兩個(gè)問(wèn)題分別進(jìn)行探討研究,并針對(duì)現(xiàn)有問(wèn)題提出了有效的解決方案,獲得了較好的性能提升。

3、r>　　在多視點(diǎn)視頻編碼中,雖然基于H.264/AVC標(biāo)準(zhǔn)的MVC編碼體系考慮到視點(diǎn)間的信息冗余,提高了多視點(diǎn)視頻的編碼效率,同時(shí)也增加了編碼端的數(shù)據(jù)交互和計(jì)算復(fù)雜度,使其無(wú)法應(yīng)用于編碼端能耗或計(jì)算性能受到嚴(yán)格限制的情形。分布式多視點(diǎn)視頻編碼(Distributed Multi-view Video Coding,DMVC)是一種基于Wyner-Ziv理論的分布式編碼框架,可以在解碼端挖掘視點(diǎn)間的相關(guān)性,從而減輕了編碼的負(fù)擔(dān),適用于上述

4、應(yīng)用場(chǎng)景。在DMVC中解碼端會(huì)生成兩種邊信息:時(shí)間邊信息與視點(diǎn)間邊信息;對(duì)這兩種邊信息進(jìn)行適當(dāng)融合,可以提升DMVC編碼效率,改進(jìn)重建幀的質(zhì)量。本文提出了基于條件隨機(jī)場(chǎng)模型的邊信息融合算法,利用二維網(wǎng)格型的條件隨機(jī)場(chǎng)對(duì)融合邊信息建模,充分挖掘出多視點(diǎn)視頻中的時(shí)間上的連續(xù)性與空間結(jié)構(gòu)的一致性。在條件隨機(jī)場(chǎng)建模過(guò)程中,將當(dāng)前幀的時(shí)間邊信息、視點(diǎn)間邊信息以及相應(yīng)的預(yù)測(cè)誤差信息作為觀測(cè)值,利用狀態(tài)勢(shì)函數(shù)描述邊信息局部區(qū)域的可靠性,利用轉(zhuǎn)移勢(shì)函數(shù)

5、描述邊信息空間結(jié)構(gòu)的規(guī)則性。條件隨機(jī)場(chǎng)模型的參數(shù)由已重構(gòu)幀集合通過(guò)訓(xùn)練不斷更新,結(jié)點(diǎn)的標(biāo)簽狀態(tài)根據(jù)置信傳播算法推斷得出,并用來(lái)融合時(shí)間邊信息與視點(diǎn)間邊信息。經(jīng)過(guò)實(shí)驗(yàn)證實(shí),本文提出的基于條件隨機(jī)場(chǎng)模型的融合算法性能要優(yōu)于現(xiàn)有融合方案。
　　在立體視頻體系中,虛擬視點(diǎn)的合成質(zhì)量對(duì)最終的用戶體驗(yàn)有著重要影響。基于深度圖像的繪制方法(depth-image based rendering,DIBR)是目前虛擬視點(diǎn)合成的主流算法,由多視點(diǎn)紋

6、理以及深度信息可以合成出一定視角范圍內(nèi)的任意虛擬視點(diǎn)。雖然該算法具有繪制速度快、所需輸入視點(diǎn)數(shù)目少等優(yōu)點(diǎn),但目前深度信息的生成需要人機(jī)交互,這就使得立體視頻的制作成本大大增加。基于圖像域變形的算法(Image Domain Warping)可以在沒(méi)有深度信息的前提下合成出較高質(zhì)量的虛擬視點(diǎn),近年來(lái)也得到了研究人員的廣泛關(guān)注。本文針對(duì)現(xiàn)有合成技術(shù)中存在的時(shí)間不連續(xù)現(xiàn)象以及輪廓失真、鬼影等問(wèn)題,提出了基于時(shí)空一致性的虛擬視點(diǎn)合成算法。一方面