多視點信息融合與合成技術(shù)研究.pdf

1、立體視頻(Three Dimension Video,3DV)作為一種新型的視覺信息媒體,已經(jīng)深入到了人們生活、工作和娛樂的各個方面。與傳統(tǒng)的二維視頻相比,立體視頻可以向用戶提供場景中的深度信息,產(chǎn)生更加真實生動的視覺效果;但同時也具有數(shù)據(jù)量龐大、數(shù)據(jù)相關(guān)性復(fù)雜等特點,這對立體視頻系統(tǒng)的推廣與普及帶來的巨大挑戰(zhàn)。
　　近年來,立體視頻體系中相關(guān)技術(shù)的研究已經(jīng)成為國際視頻研究領(lǐng)域的熱點問題。對三維場景信息更加有效的采集、表示、編碼、

2、合成以及顯示,是研究立體視頻必須解決的重要問題。目前,立體視頻的標(biāo)準(zhǔn)化進(jìn)程已經(jīng)啟動,并且將多視點視頻(Multi-view Video)以及多視點紋理加深度視頻(Multi-view plus depth)作為立體視頻的主要表示形式。在編碼端對多視點視頻信號的壓縮編碼效率,以及在終端合成的虛擬視點質(zhì)量,將成為影響整個立體視頻體系的關(guān)鍵環(huán)節(jié)。本文針對這兩個問題分別進(jìn)行探討研究,并針對現(xiàn)有問題提出了有效的解決方案,獲得了較好的性能提升。

3、r>　　在多視點視頻編碼中,雖然基于H.264/AVC標(biāo)準(zhǔn)的MVC編碼體系考慮到視點間的信息冗余,提高了多視點視頻的編碼效率,同時也增加了編碼端的數(shù)據(jù)交互和計算復(fù)雜度,使其無法應(yīng)用于編碼端能耗或計算性能受到嚴(yán)格限制的情形。分布式多視點視頻編碼(Distributed Multi-view Video Coding,DMVC)是一種基于Wyner-Ziv理論的分布式編碼框架,可以在解碼端挖掘視點間的相關(guān)性,從而減輕了編碼的負(fù)擔(dān),適用于上述

4、應(yīng)用場景。在DMVC中解碼端會生成兩種邊信息:時間邊信息與視點間邊信息;對這兩種邊信息進(jìn)行適當(dāng)融合,可以提升DMVC編碼效率,改進(jìn)重建幀的質(zhì)量。本文提出了基于條件隨機(jī)場模型的邊信息融合算法,利用二維網(wǎng)格型的條件隨機(jī)場對融合邊信息建模,充分挖掘出多視點視頻中的時間上的連續(xù)性與空間結(jié)構(gòu)的一致性。在條件隨機(jī)場建模過程中,將當(dāng)前幀的時間邊信息、視點間邊信息以及相應(yīng)的預(yù)測誤差信息作為觀測值,利用狀態(tài)勢函數(shù)描述邊信息局部區(qū)域的可靠性,利用轉(zhuǎn)移勢函數(shù)

5、描述邊信息空間結(jié)構(gòu)的規(guī)則性。條件隨機(jī)場模型的參數(shù)由已重構(gòu)幀集合通過訓(xùn)練不斷更新,結(jié)點的標(biāo)簽狀態(tài)根據(jù)置信傳播算法推斷得出,并用來融合時間邊信息與視點間邊信息。經(jīng)過實驗證實,本文提出的基于條件隨機(jī)場模型的融合算法性能要優(yōu)于現(xiàn)有融合方案。
　　在立體視頻體系中,虛擬視點的合成質(zhì)量對最終的用戶體驗有著重要影響?；谏疃葓D像的繪制方法(depth-image based rendering,DIBR)是目前虛擬視點合成的主流算法,由多視點紋

6、理以及深度信息可以合成出一定視角范圍內(nèi)的任意虛擬視點。雖然該算法具有繪制速度快、所需輸入視點數(shù)目少等優(yōu)點,但目前深度信息的生成需要人機(jī)交互,這就使得立體視頻的制作成本大大增加?；趫D像域變形的算法(Image Domain Warping)可以在沒有深度信息的前提下合成出較高質(zhì)量的虛擬視點,近年來也得到了研究人員的廣泛關(guān)注。本文針對現(xiàn)有合成技術(shù)中存在的時間不連續(xù)現(xiàn)象以及輪廓失真、鬼影等問題,提出了基于時空一致性的虛擬視點合成算法。一方面