多視點(diǎn)視頻虛擬視點(diǎn)合成技術(shù)綜述【文獻(xiàn)綜述】

1、<p><b>　　畢業(yè)論文文獻(xiàn)綜述</b></p><p><b>　　電子信息工程</b></p><p>　　多視點(diǎn)視頻虛擬視點(diǎn)合成技術(shù)綜述</p><p>　　摘要： 隨著多視點(diǎn)視頻研究的發(fā)展，各種多視點(diǎn)視頻編碼技術(shù)的研究都成為熱點(diǎn)領(lǐng)域，其中虛擬視點(diǎn)合成技術(shù)尤為關(guān)鍵，本文簡(jiǎn)要概括了多視點(diǎn)視頻編碼技術(shù)的發(fā)展

2、歷程和虛擬視點(diǎn)合成算法的研究現(xiàn)狀，一種高效的虛擬視點(diǎn)插值算法是高質(zhì)量圖像合成的基礎(chǔ)。本文重點(diǎn)介紹了幾種現(xiàn)在虛擬視點(diǎn)插值算法并做了比較，由比較分析出每種算法的優(yōu)缺點(diǎn)。</p><p>　　關(guān)鍵詞：多視點(diǎn)視頻；視頻編碼技術(shù)；虛擬視點(diǎn)合成；</p><p>　　多視點(diǎn)視頻編碼技術(shù)簡(jiǎn)介</p><p>　　多視點(diǎn)視頻(Multi-view Video)是一種新型的具有立體感

3、和交互操作功能的視頻,通過(guò)在場(chǎng)景中放置多臺(tái)攝像機(jī),記錄下多個(gè)視點(diǎn)數(shù)據(jù),提供給用戶以視點(diǎn)選擇和場(chǎng)景漫游的交互能力。多視點(diǎn)視頻將在自由視點(diǎn)視頻、立體電視、立體視頻會(huì)議、多視點(diǎn)視頻點(diǎn)播等數(shù)字娛樂(lè)領(lǐng)域有著非常廣泛的應(yīng)用前景。隨著相機(jī)數(shù)目的增加, 多視點(diǎn)視頻的數(shù)據(jù)量也成倍增加。系統(tǒng)的一個(gè)挑戰(zhàn)就是研究實(shí)現(xiàn)一種高效的多路編碼傳輸機(jī)制,從而對(duì)數(shù)據(jù)進(jìn)行高效地壓縮以便存儲(chǔ)和傳輸視頻序列。</p><p>　　多視序列包含同一個(gè)場(chǎng)景內(nèi)

4、多個(gè)視點(diǎn)的畫(huà)面,畫(huà)面之間存在很高的相關(guān)性,如何消除這些冗余,是多視點(diǎn)視頻編碼的一個(gè)重要問(wèn)題。特別是,對(duì)于多視點(diǎn)視頻編碼來(lái)說(shuō),在消除空間冗余的同時(shí),還要消除時(shí)間上的冗余。因此,多視點(diǎn)視頻編碼方法包含傳統(tǒng)視頻編碼方法的內(nèi)容,但它比傳統(tǒng)編碼方法更加復(fù)雜。利用視差估計(jì)消除多個(gè)視點(diǎn)間空間冗余、預(yù)測(cè)編碼以及虛擬視點(diǎn)圖像的合成是其中比較重要的技術(shù)[1]。</p><p>　　多視點(diǎn)視頻技術(shù)研究發(fā)展概況</p>&

5、lt;p>　　目前視頻和音頻結(jié)合的新型媒體的主要特點(diǎn)是具有交互能力。用戶在觀看的過(guò)程中不再是一個(gè)被動(dòng)的消費(fèi)者，取而代之的是用戶可以通過(guò)某種方式進(jìn)行選擇他想觀看場(chǎng)景遠(yuǎn)近和角度[2]。它的發(fā)展經(jīng)歷了以下歷程：</p><p>　　(1)最早出現(xiàn)的具有此功能的媒體是在圖像處理中，它提供了紋理的三維模型(textured three-dimensional models)來(lái)實(shí)現(xiàn)上述功能，被稱為3D-model[2]

6、。這種方式的缺點(diǎn)在于需要預(yù)先生成物體和場(chǎng)景的三維模型，而且如果要求模型具有相片一樣的真實(shí)感或者場(chǎng)景是動(dòng)態(tài)改變的話，那么模型的生成是十分困難的。</p><p>　　(2)與此相反，基于圖像的合成(image-based rendering，以下簡(jiǎn)稱IBR)著重在從圖像中生成新的虛擬圖像，取代使用三維模型。IBR起源于光學(xué)函數(shù)。函數(shù)具有七個(gè)參數(shù)分別代表了每一條光線的空間位置(三參數(shù))，方向(二參數(shù))，時(shí)間和波長(zhǎng)。然

7、而這個(gè)可以表示視覺(jué)的公式只具有理論意義。在實(shí)際應(yīng)用中通過(guò)忽略一部分參數(shù)，如波長(zhǎng)，時(shí)間或空間位置，或者限定視點(diǎn)的使用數(shù)量來(lái)使其可行。例如光場(chǎng)(light field)和全景的拼接和鑲嵌。這些方法的特點(diǎn)在于完全不使用場(chǎng)景中物體的幾何信息，因此可以把這一類稱為基于外觀的IBR。這類方法的缺點(diǎn)在于數(shù)據(jù)量和數(shù)據(jù)獲取的代價(jià)都太大，而且對(duì)于交互有嚴(yán)格的限制。 </p><p>　　(3)在近幾年的研究中，IBR技術(shù)在合成交互場(chǎng)

8、景中的使用十分流行，進(jìn)而出現(xiàn)了處理視頻圖像的VBR(video-based rendering)方法。VBR的提法是基于對(duì)IBR基本概念的拓展。VBR是指使用視頻數(shù)據(jù)作為輸入，生成動(dòng)態(tài)交互的虛擬環(huán)境。然而為了描述運(yùn)動(dòng)增加了數(shù)倍的必要圖像數(shù)據(jù)，總體數(shù)據(jù)量的增加是驚人的。完整的VBR處理鏈可以分成以下幾部分:圖像獲取/采集，場(chǎng)景的表現(xiàn),編碼，傳輸/流化，交互的顯示[3]。</p><p>　　基于上面的討論，可以看到

9、多視點(diǎn)視頻的合成是屬于VBR方法范疇的，而VBR方法的突出特性就是處理鏈中各個(gè)部分相關(guān)性很強(qiáng)，特別是采集和合成是兩個(gè)緊密相關(guān)的環(huán)節(jié)，因此關(guān)于VBR合成的研究都是基于各自建立的采集環(huán)境的。</p><p>　　虛擬視點(diǎn)合成算法研究現(xiàn)狀</p><p>　　虛擬視點(diǎn)合成是指依據(jù)兩個(gè)或多個(gè)關(guān)于同一場(chǎng)景的真實(shí)視點(diǎn)圖像,合成出虛擬視點(diǎn)圖像。虛擬視點(diǎn)合成在虛擬現(xiàn)實(shí)、多視點(diǎn)視頻等領(lǐng)域中有著廣泛的應(yīng)用，目

10、的在于通過(guò)現(xiàn)有攝像機(jī)攝取的圖像合成出更多的視點(diǎn)圖像，從而在不增加成本的前提下使可切換的視點(diǎn)增加，切換過(guò)程更加平滑，觀看起來(lái)更加流暢。如圖1 所示將虛擬視點(diǎn)合成技術(shù)應(yīng)用于自由視點(diǎn)視頻中,可以為觀看者提供更多的觀察視角[4]。</p><p>　　圖1　虛擬視點(diǎn)合成在自由視點(diǎn)視頻中的應(yīng)用</p><p>　　目前虛擬視點(diǎn)合成主要有基于位差預(yù)測(cè)的視圖合成、基于圖像拼合的視點(diǎn)合成、基于深度圖的視點(diǎn)

11、合成與改進(jìn)的基于深度圖的視點(diǎn)合成。下面就各類視點(diǎn)合成算法原理、優(yōu)缺點(diǎn)做進(jìn)一步闡述。</p><p>　?。?）基于位差預(yù)測(cè)的視點(diǎn)合成算法。</p><p>　　為了滿足多視點(diǎn)視頻中新視點(diǎn)合成的需要，提出了一種基于位差估計(jì)和補(bǔ)償插值的視點(diǎn)合成方法。實(shí)驗(yàn)結(jié)果表明，當(dāng)兩個(gè)攝像機(jī)間的基線比較小的時(shí)候，合成的視圖質(zhì)量和傳統(tǒng)方法相當(dāng)，但合成速度比較快，可應(yīng)用于實(shí)時(shí)的交互式系統(tǒng)中。</p>

12、<p>　　該算法的原理如下，首先基于塊匹配的位差估計(jì)，將輸入的左右兩幅視圖分別看成是待合成視圖的“前向參考幀”和“后向參考幀”。對(duì)待合成視圖與參考視圖進(jìn)行分塊處理， 接著根據(jù)最小均方差準(zhǔn)則找出待合成視圖中的每一個(gè)圖像塊在兩幅參考視圖中所對(duì)應(yīng)的最佳位差值[5]。根據(jù)得到的最佳位差值，就可以依據(jù)位差補(bǔ)償方式進(jìn)行“幀內(nèi)插” 來(lái)插值完成中間視點(diǎn)圖像的合成。</p><p>　　在運(yùn)動(dòng)估計(jì)中物體的運(yùn)動(dòng)矢量的大

13、小非常有限，但在位差估計(jì)中對(duì)于那些接近攝像機(jī)的物體，他們的位差矢量會(huì)非常大，由于上述對(duì)位差的估計(jì)是在一個(gè)固定的搜索區(qū)域內(nèi)進(jìn)行的，因此有些塊的位差估計(jì)會(huì)出現(xiàn)錯(cuò)誤，需要進(jìn)行調(diào)整，否則會(huì)產(chǎn)生比較明顯的塊效應(yīng)[6]。值得注意的是，該算法適用于攝像機(jī)之間的基線距離比較小的情況，如果攝像機(jī)間的距離比較大，那么此時(shí)輸入的兩幅視圖間的變化就不能簡(jiǎn)單的看成是一種平動(dòng)了，從而上述的預(yù)測(cè)位差的方法也就不再適用了。</p><p>　　

14、這種基于位差預(yù)測(cè)和補(bǔ)償?shù)囊朁c(diǎn)合成算法依據(jù)輸入的兩個(gè)不同視角處的圖像，可以合成出基線上任意一點(diǎn)處的視圖[7]。這種算法繪制視圖速度較快，不需預(yù)處理，非常適合于實(shí)時(shí)性監(jiān)控系統(tǒng)的應(yīng)用。缺點(diǎn)在于本算法在進(jìn)行位差矢量預(yù)測(cè)的時(shí)候只是考慮了亮度成分，沒(méi)有考慮到色度成分，因此在下一步工作中還應(yīng)該將色度成分的影響考慮進(jìn)去。</p><p>　?。?）基于圖像拼合的視點(diǎn)合成</p><p>　　本算法將視點(diǎn)插

15、值和基于圖像拼合的視點(diǎn)變形技術(shù)相結(jié)合,提出一種中間視合成算法。首先均勻化原始立體圖像對(duì);然后只對(duì)前景對(duì)象區(qū)域進(jìn)行視差估計(jì)以提高視差匹配的速度和精度;接著確定左右視點(diǎn)中的可靠區(qū)域,根據(jù)可靠區(qū)域生成過(guò)渡中間視點(diǎn);最后,采用視點(diǎn)插值結(jié)合變形的方法,由過(guò)渡視合成中間視點(diǎn)[8]。實(shí)驗(yàn)結(jié)果表明合成的中間視點(diǎn)圖像質(zhì)量良好,而且合成速度也明顯提高。本文算法可用于實(shí)時(shí)3D 視頻應(yīng)用的交互式立體顯示,可以實(shí)現(xiàn)任意視點(diǎn)的實(shí)時(shí)繪制。</p>&l

16、t;p>　?。?）基于深度圖的視點(diǎn)合成</p><p>　　基于深度圖的視點(diǎn)合成是指根據(jù)已經(jīng)得到的多視點(diǎn)視頻圖像及其深度信息，通過(guò)虛擬視點(diǎn)合成的方法生成任意中間視點(diǎn)圖像的過(guò)程。虛擬視點(diǎn)合成可以用于自由視點(diǎn)視頻中不同視角間的漫游，從而提供交互式的視頻觀看體驗(yàn)。也可以用于多視點(diǎn)視頻編碼，通過(guò)合成的虛擬視點(diǎn)圖像對(duì)實(shí)際視點(diǎn)圖像進(jìn)行視差補(bǔ)償預(yù)測(cè)，起到大大提高多視點(diǎn)視頻壓縮編碼效率的作用。</p><

17、;p>　　基于深度圖的視點(diǎn)合成算法通過(guò)三維變換將參考圖像映射到目標(biāo)圖像坐標(biāo)系生成虛擬視點(diǎn)圖像[9]。由于目標(biāo)圖像中的部分像素點(diǎn)在源圖像中被遮擋導(dǎo)致合成的虛擬視點(diǎn)圖像存在空洞，由源視點(diǎn)向目標(biāo)視點(diǎn)轉(zhuǎn)換時(shí)，物體間的相互遮擋導(dǎo)致合成的虛擬圖像存在重疊。</p><p>　　（4）改進(jìn)的基于深度圖的視點(diǎn)合成</p><p>　　本算法原理與傳統(tǒng)的基于深度圖的視點(diǎn)合成算法相同，改進(jìn)的地方是通過(guò)雙

18、向視點(diǎn)插值和相鄰像素加權(quán)插值的方法來(lái)彌補(bǔ)傳統(tǒng)基于深度圖的視點(diǎn)合成算法所造成的圖像空洞和圖像重疊問(wèn)題[10]。</p><p>　?、俸铣蓤D像的空洞填補(bǔ)</p><p>　　當(dāng)以源圖像作為參考圖像合成目標(biāo)位置的虛擬圖像時(shí)，如果目標(biāo)圖像中的一部分像素點(diǎn)在源圖像中處于被遮擋的狀態(tài)，那么這些點(diǎn)將不能在虛擬圖像中繪制出來(lái)，反映在結(jié)果中就是合成視點(diǎn)圖像上的空洞。因此，合成的虛擬視點(diǎn)圖像中的像素點(diǎn)必須是

19、參考圖像中存在的像素點(diǎn)。本算法通過(guò)雙向視點(diǎn)插值和相鄰像素加權(quán)插值的方法來(lái)填補(bǔ)空洞。雙向視點(diǎn)插值的思想來(lái)源于由目標(biāo)視點(diǎn)兩側(cè)的源視點(diǎn)分別預(yù)測(cè)合成目標(biāo)視點(diǎn)的虛擬視點(diǎn)圖像，其產(chǎn)生的空洞正好互補(bǔ)。在使用了雙向視點(diǎn)插值方法之后，合成圖像上的空洞面積大大減少，但仍然殘留一部分空洞。仍然留有空洞的原因是這些像素點(diǎn)在左右兩幅源圖像中均被遮擋造成的，解決的方法是對(duì)空洞進(jìn)行相鄰像素加權(quán)插值。</p><p><b>　　②圖

20、像重疊的改進(jìn)</b></p><p>　　重疊產(chǎn)生的原因是從源視點(diǎn)向目標(biāo)視點(diǎn)移動(dòng)后，物體會(huì)相互遮擋。當(dāng)由視點(diǎn)1 或視點(diǎn)2 來(lái)合成視點(diǎn)3 的虛擬視點(diǎn)圖像時(shí)，A 物體和B 物體的像素會(huì)發(fā)生重疊。反映在視點(diǎn)合成的過(guò)程中就是進(jìn)行像素搬移時(shí)，參考圖像中的多個(gè)像素點(diǎn)投影到了目標(biāo)圖像的同一位置。當(dāng)不同的像素投影到同一位置時(shí)，后來(lái)的像素覆蓋掉先來(lái)的像素，此時(shí)從視點(diǎn)3 觀察就會(huì)發(fā)現(xiàn)錯(cuò)誤：物體的一部分丟失了。</p

21、><p>　　本文所采用的解決方案為深度大小判斷，當(dāng)發(fā)生多個(gè)像素點(diǎn)投影到目標(biāo)圖像的同一位置時(shí)，選擇深度值最小的點(diǎn)，忽略其他點(diǎn)。按此方法處理過(guò)后，目標(biāo)圖像上有可能發(fā)生像素重疊的點(diǎn)只保留深度值最小的點(diǎn)，即距視點(diǎn)最近的點(diǎn)，成功解決了投影變換過(guò)程中的像素重疊問(wèn)題。</p><p>　　本算法通過(guò)基于深度圖的三維變換來(lái)進(jìn)行虛擬視點(diǎn)的合成，將參考圖像映射到目標(biāo)圖像坐標(biāo)系生成虛擬視點(diǎn)圖像。針對(duì)該算法所存在的

22、合成圖像空洞較大且存在像素重疊等問(wèn)題進(jìn)行了算法改進(jìn)。采用了雙向視點(diǎn)插值和相鄰像素加權(quán)插值的方法來(lái)填補(bǔ)空洞，使合成圖像的質(zhì)量有了大幅提高。根據(jù)深度值大小對(duì)造成重疊的像素進(jìn)行取舍的方法較好的解決了視點(diǎn)合成過(guò)程中像素重疊的問(wèn)題[11]。</p><p>　　本算法的不足之處是：1.在判斷造成重疊的像素點(diǎn)深度值大小時(shí)，為了保存像素點(diǎn)在源視點(diǎn)的深度值大小，在虛擬視點(diǎn)的合成過(guò)程當(dāng)中生成了一幅參考深度圖像增加了算法代價(jià)。另外，

23、進(jìn)行相鄰像素加權(quán)插值時(shí)算法還有待于進(jìn)一步優(yōu)化以降低算法代價(jià)。2.通常情況下每幅圖像在被獲取時(shí)的光照環(huán)境不同，引入顏色校正會(huì)提高虛擬視點(diǎn)合成的效果。</p><p><b>　　總結(jié)</b></p><p>　　多視點(diǎn)視頻可廣泛應(yīng)用于三維電視和任意視點(diǎn)視頻等新興的多媒體業(yè)務(wù)，其廣闊的應(yīng)用前景對(duì)當(dāng)前的編碼和傳輸技術(shù)提出了很大的挑戰(zhàn)。多視點(diǎn)視頻的提出體現(xiàn)了下一代多媒體應(yīng)用網(wǎng)

24、絡(luò)化、交互性和真實(shí)感的發(fā)展方向。其中，虛擬視點(diǎn)圖像的合成是其中比較重要的技術(shù)，也是比較熱門(mén)的研究方向之一，完美的解決虛擬視點(diǎn)的合成技術(shù)難題，既可以實(shí)現(xiàn)多視點(diǎn)視頻中視角轉(zhuǎn)化過(guò)程中平滑過(guò)渡，保證高質(zhì)量合成虛擬視點(diǎn)圖像，同時(shí)又可以顯著提高多視點(diǎn)視頻的編碼效率。</p><p><b>　　參考文獻(xiàn)</b></p><p>　　[1] 李淳,馬力妮.多視點(diǎn)視頻編碼技術(shù)研究[J

25、].計(jì)算機(jī)與現(xiàn)化化,2009,161(1):105～108.</p><p>　　[2] 霍俊彥,常義林,李明,馬彥卓.多視點(diǎn)視頻編碼的研究現(xiàn)狀及其展望[J].通信學(xué)報(bào),2010,31(5) :113～121.</p><p>　　[3] 李放.多視點(diǎn)視頻系統(tǒng)中虛擬視點(diǎn)合成算法的研究和實(shí)現(xiàn)[D].北京：清華大學(xué),2005.</p><p>　　[4] 陳思利，李鵬程

26、.一種基于DIBR的虛擬視點(diǎn)合成算法[J].成都電子機(jī)械高等?？茖W(xué)校學(xué)報(bào),2010，13(1):15～19.</p><p>　　[5] 宋麗娟，霍智勇，朱秀昌. 基于位差預(yù)測(cè)的視圖合成[D].江蘇：南京郵電大學(xué)，2009. </p><p>　　[6] 楊海濤,常義林,霍俊彥等.應(yīng)用于多視點(diǎn)視頻編碼的基于深度特征的圖像區(qū)域分割與區(qū)域視差估計(jì)[J].光學(xué)學(xué)報(bào),2008,28(6):1073

27、～1078.</p><p>　　[7] 呂朝輝,袁惇.基于視差估計(jì)的中間視圖合成[J].光電子·激光,2007,18(7)：855～858.</p><p>　　[8] AN Ping ,ZHANG Zhao-yang,LIU Su-xing. Image Mosaic Based View Synthesis for Interactive Stereoscopic Disp

28、lay[D]. Shanghai University, 2008.</p><p>　　[9] 郁理,郭立,袁紅星.基于深度圖像的視點(diǎn)繪制新方法[J].中國(guó)科學(xué)院研究生院學(xué)報(bào),2010,27(5):638～644.</p><p>　　[10]劉祥凱，彭強(qiáng)，夏旭.改進(jìn)的基于深度圖的視點(diǎn)合成算法[D].成都：西南交通大學(xué),2008.</p><p>　　[11] M