面向移動設備的動態(tài)目標的光場渲染技術研究.pdf

1、隨著多媒體技術的不斷發(fā)展，視頻技術也需要從二維向三維轉變，和普通的二維視頻相比，三維視頻增加了場景的深度信息，增強了視覺的現(xiàn)實感和逼真感，可以給用戶提供全方位沉浸式的感受。三維視頻技術可以廣泛應用于數字電視、移動設備系統(tǒng)，三維視頻會議系統(tǒng)、虛擬現(xiàn)實系統(tǒng)等方面，而其中移動設備系統(tǒng)更為人們所關注，移動設備已經逐漸成為人們進行信息獲取、處理處理、個人娛樂等的重要途徑。因此人們迫切的希望在移動設備上享受真實感繪制，比如：顯示真實感的3DTV、虛

2、擬現(xiàn)實的漫游等等。 移動設備由于采用電池供電，存儲器空間有限，帶寬較小，因此移動設備的真實感繪制系統(tǒng)應具有低功耗和低帶寬的特點。傳統(tǒng)的計算機圖形學是建立在基于3D網格模型的繪制基礎上，能否準確的構建成場景的3D網格模型將直接影響最終繪制的效果，整個繪制過程與場景復雜度有關，帶來了功耗大的問題。而基于圖像的繪制技術(IBR)由于與場景復雜度無關且真實感強等特點，在近十年來成為真實感繪制的研究熱點，但由于其數據量龐大，對于移動設備有

3、限的存儲空間和帶寬非常不利。針對這些問題，本文提出了一種面向移動設備的動態(tài)3D目標的真實感繪制技術。 主要工作和創(chuàng)新如下： 1)針對移動設備存儲空間小和帶寬有限的特點，提出了一種面向移動設備的動態(tài)3D目標的光場渲染編解碼器設計。由于3D網格模型來源于圖像，降低了人工建模的復雜度。同時，由于具有場景目標的幾何信息，場景目標重構所需的圖像數量可以大量減少，降低了數據量，有利于低帶寬的移動設備的數據傳輸，實驗結果表明，數據量相

4、比基于圖像的繪制方法，存儲數據量以及傳輸數據量都得到了有效的降低。 2)結合重建的目標的3D網格模型，提出了一種面向移動設備的目標表面光場采樣方法，詳細分析了光場采樣前的可見性問題以及虛擬視點的生成方法。該方法不但可以實現(xiàn)真實感效果，而且可以實現(xiàn)自由視點的繪制。實驗結果表明，這種采樣方法準確記錄了目標向空間發(fā)出的光線信息，包括了光線的強度和光線的方向。 3)由于采樣的光場矩陣包含的數據量較大，不利于視頻數據的傳輸，提出了

5、一種自適應的奇異值分解算法，自動控制光場矩陣的分解級數，解決了人為主觀因素的控制，保證重建質量的同時，提高了壓縮率。光場矩陣分解后獲得目標的表面紋理和視點紋理，采用矢量量化和S3TC壓縮算法去除紋理圖像之間及內部的冗余信息，實驗結果表明，在保證真實感效果的前提下，數據量得到了有效的降低。此外，S3TC算法為圖形硬件廣泛支持的標準紋理壓縮算法，有利于實現(xiàn)光場重建的硬件加速過程。 4)提出了一種面向移動設備的光場渲染解碼器的硬件架構