自由視點視頻信號處理中的關(guān)鍵技術(shù)研究.pdf

1、隨著計算機、通信及網(wǎng)絡技術(shù)的發(fā)展，實時的2D視頻可視通信已經(jīng)走向成熟，基于各種國際標準的視頻產(chǎn)品已經(jīng)進入了人們的生活、學習、工作等各個方面。然而，人們對于數(shù)字視頻的要求日益提高，人們希望看到表征自然景物的數(shù)字視頻能夠更加地清晰、更加地真實，而2D視頻在真實性上存在很大的局限。相比之下，自由視點視頻可以使用戶自由選擇觀看的視點和方向，來享受更加真實的3D圖像，基于這樣的交互性與3D圖像真實感，自由視點視頻在遠程教育、遠程監(jiān)視、虛擬現(xiàn)實系統(tǒng)

2、等各方面將有良好應用前景。因此，自由視點視頻技術(shù)作為當前的一個研究熱點，已經(jīng)吸引了越來越多的國內(nèi)外學者。 本文主要從構(gòu)建自由視點視頻系統(tǒng)的角度出發(fā)，進行其中的關(guān)鍵技術(shù)研究。首先，自由視點視頻是通過多相機系統(tǒng)進行捕獲，其數(shù)據(jù)量通常幾倍于目前普通視頻，因此在第三章對自由視點視頻編碼技術(shù)進行了研究，在第二節(jié)重點對光線空間相關(guān)性及數(shù)據(jù)特性進行了分析，在此基礎上提出了包括快速自適應塊匹配、基于直線方向搜索的光線空間數(shù)據(jù)壓縮算法，實驗結(jié)果分

3、析表明，與傳統(tǒng)的只利用了片內(nèi)相關(guān)性的數(shù)據(jù)壓縮方法相比，編碼性能有了明顯的提高，這是本文的一個創(chuàng)新點。在第三節(jié)對3DAV的多視點視頻編碼方案在壓縮效率、計算復雜度、內(nèi)存消耗及隨機訪問性等方面進行了性能比較。 然后，由于采集過程中場景光照、相機校準、相機噪聲等方面的影響，各視點視頻的顏色值會差別很大，給后續(xù)的處理帶來很大的困難，因此在第四章研究了多視點視頻顏色校正技術(shù)。對多視點視頻進行顏色校正首先由我們提出，其基本思想是：根據(jù)圖像間

4、的顏色信息，構(gòu)造其顏色映射關(guān)系，根據(jù)此映射關(guān)系進行顏色校正，此映射可以是基于全局的、區(qū)域的或像素的。我們提出了一系列的顏色校正算法：基于規(guī)正參數(shù)調(diào)節(jié)的算法，從象素均值和直方圖均值匹配的角度出發(fā)，通過迭代操作，構(gòu)造了源圖像與目標圖像間映射關(guān)系；基于區(qū)域分割與跟蹤的算法，從區(qū)域匹配的角度出發(fā)來構(gòu)造一維線性映射關(guān)系，并且通過對區(qū)域進行跟蹤，實現(xiàn)了對視頻圖像的校正：基于主成分分析的多視點視頻自動顏色校正算法，則從主成分分析的角度出發(fā)來構(gòu)造三維線

5、性映射關(guān)系，同樣通過對主成分進行跟蹤實現(xiàn)對視頻圖像的校正；并且對噪聲情況下的校正進行了討論?；趧討B(tài)規(guī)劃的多視點視頻非線性顏色校正算法，則從非線性映射的角度出發(fā)，通過動態(tài)規(guī)劃思想在源圖像與目標圖像的直方圖間尋找一條最佳匹配路徑，同樣通過對路徑進行跟蹤實現(xiàn)對視頻圖像的校正。實驗結(jié)果分析表明，各算法對特定顏色變化情況下的校正十分有效，這是本論文的又一創(chuàng)新。然后，為了將顏色校正與數(shù)據(jù)壓縮或虛擬視點繪制更好地進行結(jié)合，在第五章中提出了多視點圖像