多視點(diǎn)視頻編碼及虛擬視點(diǎn)生成.pdf

1、為滿足視頻場(chǎng)景自然和真實(shí)再現(xiàn)的需求，具有立體視覺(jué)功能的多視點(diǎn)視頻技術(shù)正越來(lái)越受到學(xué)術(shù)界和工業(yè)界的重視，并成為視頻研究的熱點(diǎn)之一。多視點(diǎn)視頻蘊(yùn)涵了景物的深度信息，在自然場(chǎng)景的表征上更具真實(shí)感，在3D電視、自由視點(diǎn)電視、具有臨場(chǎng)感的可視會(huì)議及虛擬現(xiàn)實(shí)等領(lǐng)域具有廣闊的應(yīng)用前景。多視點(diǎn)視頻具有巨大的數(shù)據(jù)量，存貯和傳輸十分困難，必須對(duì)其進(jìn)行高效的編碼(壓縮)。虛擬視點(diǎn)生成技術(shù)也可以有效減少所需要傳送的視頻流：在發(fā)送端，只需要在幾個(gè)關(guān)鍵視點(diǎn)進(jìn)行視頻

2、采集，同時(shí)也只需要傳送幾個(gè)關(guān)鍵視點(diǎn)的視頻流；在接收端，通過(guò)虛擬視點(diǎn)生成技術(shù)利用關(guān)鍵視點(diǎn)的視頻生成所需要視點(diǎn)的圖像。本文從視點(diǎn)間預(yù)測(cè)、快速模式選擇和虛擬視點(diǎn)生成三個(gè)方面對(duì)多視點(diǎn)視頻系統(tǒng)進(jìn)行了研究。
　　 在多視點(diǎn)視頻中，除了各個(gè)視頻流內(nèi)部具有很強(qiáng)的空間和時(shí)間相關(guān)性之外，各視點(diǎn)之間也具有一定的交叉相關(guān)性，如何有效地利用這些相關(guān)性是提高多視點(diǎn)視頻壓縮效率的關(guān)鍵。同時(shí)在多視點(diǎn)視頻中，由于各攝像機(jī)接收到的光線強(qiáng)度、增益和電平等的不同導(dǎo)致實(shí)

3、際獲得的多視點(diǎn)視頻圖像之間存在著顏色(包括亮度和色差信號(hào))差異，從而影響多視點(diǎn)視頻的壓縮性能。本文首先分析了多視點(diǎn)視頻中視點(diǎn)間各種相關(guān)性的相對(duì)大小和視差預(yù)測(cè)特性，在視差預(yù)測(cè)中引入全局視差預(yù)測(cè)編碼模式，并將其集成到多模式預(yù)測(cè)編碼中，提高了壓縮效率；其次為減少編碼視差矢量和運(yùn)動(dòng)矢量所需的比特?cái)?shù)，提出了改進(jìn)的視差矢量和運(yùn)動(dòng)矢量預(yù)測(cè)方法；最后在分析不同視點(diǎn)圖像之間顏色差異的基礎(chǔ)上對(duì)其進(jìn)行建模，并根據(jù)模型的簡(jiǎn)化程度提出和實(shí)現(xiàn)了多種基于顏色差異補(bǔ)償

4、的視差預(yù)測(cè)編碼方法：全局線性顏色差異補(bǔ)償、全局非線性顏色差異補(bǔ)償、局部顏色差異補(bǔ)償、全局與局部自適應(yīng)的顏色差異補(bǔ)償。
　　 多視點(diǎn)視頻編碼通過(guò)結(jié)合運(yùn)動(dòng)估計(jì)和視差估計(jì)可以獲得比較高的壓縮效率，但其存在運(yùn)動(dòng)估計(jì)、視差估計(jì)和宏塊模式選擇的計(jì)算量非常大的缺點(diǎn)。因此，針對(duì)多視點(diǎn)視頻編碼的快速算法對(duì)于多視點(diǎn)視頻技術(shù)實(shí)用化具有非常重要的意義。本文在統(tǒng)計(jì)分析多視點(diǎn)視頻編碼中宏塊模式選擇特性的基礎(chǔ)上，針對(duì)多視點(diǎn)視頻編碼結(jié)構(gòu)中的三種預(yù)測(cè)類型(幀內(nèi)預(yù)