自由視點(diǎn)視頻信號(hào)處理中的關(guān)鍵技術(shù)研究.pdf

1、隨著計(jì)算機(jī)、通信及網(wǎng)絡(luò)技術(shù)的發(fā)展，實(shí)時(shí)的2D視頻可視通信已經(jīng)走向成熟，基于各種國(guó)際標(biāo)準(zhǔn)的視頻產(chǎn)品已經(jīng)進(jìn)入了人們的生活、學(xué)習(xí)、工作等各個(gè)方面。然而，人們對(duì)于數(shù)字視頻的要求日益提高，人們希望看到表征自然景物的數(shù)字視頻能夠更加地清晰、更加地真實(shí)，而2D視頻在真實(shí)性上存在很大的局限。相比之下，自由視點(diǎn)視頻可以使用戶自由選擇觀看的視點(diǎn)和方向，來(lái)享受更加真實(shí)的3D圖像，基于這樣的交互性與3D圖像真實(shí)感，自由視點(diǎn)視頻在遠(yuǎn)程教育、遠(yuǎn)程監(jiān)視、虛擬現(xiàn)實(shí)系統(tǒng)

2、等各方面將有良好應(yīng)用前景。因此，自由視點(diǎn)視頻技術(shù)作為當(dāng)前的一個(gè)研究熱點(diǎn)，已經(jīng)吸引了越來(lái)越多的國(guó)內(nèi)外學(xué)者。 本文主要從構(gòu)建自由視點(diǎn)視頻系統(tǒng)的角度出發(fā)，進(jìn)行其中的關(guān)鍵技術(shù)研究。首先，自由視點(diǎn)視頻是通過(guò)多相機(jī)系統(tǒng)進(jìn)行捕獲，其數(shù)據(jù)量通常幾倍于目前普通視頻，因此在第三章對(duì)自由視點(diǎn)視頻編碼技術(shù)進(jìn)行了研究，在第二節(jié)重點(diǎn)對(duì)光線空間相關(guān)性及數(shù)據(jù)特性進(jìn)行了分析，在此基礎(chǔ)上提出了包括快速自適應(yīng)塊匹配、基于直線方向搜索的光線空間數(shù)據(jù)壓縮算法，實(shí)驗(yàn)結(jié)果分

3、析表明，與傳統(tǒng)的只利用了片內(nèi)相關(guān)性的數(shù)據(jù)壓縮方法相比，編碼性能有了明顯的提高，這是本文的一個(gè)創(chuàng)新點(diǎn)。在第三節(jié)對(duì)3DAV的多視點(diǎn)視頻編碼方案在壓縮效率、計(jì)算復(fù)雜度、內(nèi)存消耗及隨機(jī)訪問(wèn)性等方面進(jìn)行了性能比較。 然后，由于采集過(guò)程中場(chǎng)景光照、相機(jī)校準(zhǔn)、相機(jī)噪聲等方面的影響，各視點(diǎn)視頻的顏色值會(huì)差別很大，給后續(xù)的處理帶來(lái)很大的困難，因此在第四章研究了多視點(diǎn)視頻顏色校正技術(shù)。對(duì)多視點(diǎn)視頻進(jìn)行顏色校正首先由我們提出，其基本思想是：根據(jù)圖像間

4、的顏色信息，構(gòu)造其顏色映射關(guān)系，根據(jù)此映射關(guān)系進(jìn)行顏色校正，此映射可以是基于全局的、區(qū)域的或像素的。我們提出了一系列的顏色校正算法：基于規(guī)正參數(shù)調(diào)節(jié)的算法，從象素均值和直方圖均值匹配的角度出發(fā)，通過(guò)迭代操作，構(gòu)造了源圖像與目標(biāo)圖像間映射關(guān)系；基于區(qū)域分割與跟蹤的算法，從區(qū)域匹配的角度出發(fā)來(lái)構(gòu)造一維線性映射關(guān)系，并且通過(guò)對(duì)區(qū)域進(jìn)行跟蹤，實(shí)現(xiàn)了對(duì)視頻圖像的校正：基于主成分分析的多視點(diǎn)視頻自動(dòng)顏色校正算法，則從主成分分析的角度出發(fā)來(lái)構(gòu)造三維線

5、性映射關(guān)系，同樣通過(guò)對(duì)主成分進(jìn)行跟蹤實(shí)現(xiàn)對(duì)視頻圖像的校正；并且對(duì)噪聲情況下的校正進(jìn)行了討論?；趧?dòng)態(tài)規(guī)劃的多視點(diǎn)視頻非線性顏色校正算法，則從非線性映射的角度出發(fā)，通過(guò)動(dòng)態(tài)規(guī)劃思想在源圖像與目標(biāo)圖像的直方圖間尋找一條最佳匹配路徑，同樣通過(guò)對(duì)路徑進(jìn)行跟蹤實(shí)現(xiàn)對(duì)視頻圖像的校正。實(shí)驗(yàn)結(jié)果分析表明，各算法對(duì)特定顏色變化情況下的校正十分有效，這是本論文的又一創(chuàng)新。然后，為了將顏色校正與數(shù)據(jù)壓縮或虛擬視點(diǎn)繪制更好地進(jìn)行結(jié)合，在第五章中提出了多視點(diǎn)圖像