視頻場景的重建與增強處理.pdf

1、如何利用計算機技術(shù)高效逼真地表達虛擬和真實的世界，實現(xiàn)真實世界與虛擬世界的高度互動和融合，是混合現(xiàn)實的核心問題。隨著研究對象復雜程度的日益提高，采用正向三維建模并進行繪制的方式在真實性、計算效率和交互的自然性等方面遇到了巨大的挑戰(zhàn)。鑒于圖像、視頻等視覺信息易于直接從真實世界中獲取，而計算機視覺技術(shù)又能夠幫助從中提取和構(gòu)建符合人類視覺感知規(guī)律的計算模型，這有效彌補了基于理想數(shù)學物理模型的傳統(tǒng)圖形處理技術(shù)的缺陷。因此，目前計算機視覺與計算機

2、圖形學這兩個學科在相互交叉融合。
　　 基于上述研究背景，本學位論文主要研究如何從真實拍攝的視頻數(shù)據(jù)中恢復出三維幾何和運動信息并進行重用，包括攝像機參數(shù)、深度和光流等信息的高精度恢復以及視頻場景的層次結(jié)構(gòu)估計等，有效解決了基于視頻的混合現(xiàn)實創(chuàng)作中面臨的幾何一致性、光照一致性和遮擋一致性等問題，促進了計算機視覺與計算機圖形學的交叉融合?？傮w而言，本論文主要貢獻如下：
　　 ●提出了一個高效魯棒的基于視頻序列的攝像機跟蹤技術(shù)

3、框架。特別針對變化焦距的長序列求解不穩(wěn)定、效率低等問題，提出了初始幀選取優(yōu)化、最佳自定標時機選擇以及集束調(diào)整局部化等策略，極大地提高了求解的效率和穩(wěn)定性。在此基礎(chǔ)上，針對存在循環(huán)回路的長序列的運動推斷結(jié)構(gòu)過程中容易出現(xiàn)的漂移問題，我們提出了一個非連續(xù)特征跟蹤算法，能夠快速自動地找出具有相同內(nèi)容的非連續(xù)幀進行匹配，并以此將分布在不同子序列上的同名特征軌跡合并，從而可以提高結(jié)構(gòu)和運動恢復的精度，避免漂移問題?；谶@些研究成果，我們研發(fā)了一個

4、基于視頻序列的攝像機跟蹤系統(tǒng)，其對變焦長序列的求解性能優(yōu)于國際著名商業(yè)軟件“Boujou Three”。
　　 ●提出了一個基于視頻序列的稠密深度恢復算法。創(chuàng)造性地提出在多視圖立體深度恢復中采用集束優(yōu)化方法，在統(tǒng)一的框架下將噪聲、遮擋和Outlier以多幀統(tǒng)計的方式進行高效處理，很好地解決了噪聲和遮擋對深度估計的影響，恢復的深度圖不僅具有很好的時域一致性，而且在不連續(xù)邊界的深度恢復方面取得了重要突破。在此基礎(chǔ)上，我們提出了一個多

5、道置信度傳播(Belief Propagation)優(yōu)化算法，可以在不需要增加很多計算代價的條件下有效地擴展全局優(yōu)化中的深度級數(shù)，從而提高深度恢復的精度。高質(zhì)量的深度恢復直接推動了很多相關(guān)應用的發(fā)展，并為復雜的視頻編緝處理奠定了基礎(chǔ)。
　　 ●提出了一個自動高效的無需稠密三維恢復的單目視頻立體化技術(shù)，極大便利了立體視頻的創(chuàng)作。通過創(chuàng)造性地將視頻立體化問題轉(zhuǎn)化為一個非線性能量優(yōu)化問題，并對立體感、相似度和光滑度進行綜合優(yōu)化，實現(xiàn)了

6、無需稠密三維恢復的單日視頻到立體視頻的自動轉(zhuǎn)化。
　　 ●提出了一個半自動的視頻再創(chuàng)作技術(shù)框架。該框架可以將各種視頻資源有效地利用起來，通過對視頻數(shù)據(jù)中蘊含的三維幾何、運動和層次結(jié)構(gòu)等高維信息的分析和估計，解決了基于視頻的混合現(xiàn)實創(chuàng)作中所面臨的幾何一致性、光照一致性和遮擋一致性等問題。特別地，針對運動物體和靜態(tài)場景的不同特性，分別提出了一個基于深度恢復和光流估計的運動物體抽取方法和基于深度恢復的靜態(tài)場景快速分層方法，極大地提高了