3D視頻編碼中深度圖的相關(guān)技術(shù)研究.pdf

1、隨著3D顯示器和交互式多媒體系統(tǒng)的發(fā)展,新的3D視頻應(yīng)用,如三維電視(3DTV)和自由視點(diǎn)視頻(FVV)已經(jīng)越來越引起人們的興趣。為了使這些3D視頻應(yīng)用成為可能,由多視點(diǎn)視頻及其對(duì)應(yīng)的深度圖序列組成的新的3D視頻格式(Multiview Video plus Depth,MVD)被提出。該視頻格式利用基于深度圖的視點(diǎn)合成技術(shù)(Depth Image Based Rendering,DIBR)可以合成任意位置的虛擬視點(diǎn)。如何對(duì)MVD數(shù)據(jù)進(jìn)

2、行高效的壓縮是目前3D視頻編碼標(biāo)準(zhǔn)研究的一個(gè)重要問題。多視點(diǎn)視頻在多視點(diǎn)視頻編碼標(biāo)準(zhǔn)(Multiview Video Coding,MVC)中已經(jīng)進(jìn)行了較詳細(xì)的研究。本文主要對(duì) MVD中的深度圖序列的編碼和質(zhì)量恢復(fù)進(jìn)行了研究。深度圖與傳統(tǒng)的視頻信息有很大的不同,深度圖中的值表示的是場景中物體到攝像機(jī)的距離,它是由很有很多平滑區(qū)域構(gòu)成,這些平滑區(qū)域由尖銳的邊緣分隔開,而且這些邊緣信息對(duì)視點(diǎn)合成非常敏感。此外,深度圖不需要在終端呈現(xiàn)給用戶進(jìn)

3、行觀看,它主要是用來進(jìn)行視點(diǎn)合成的。目前由于深度傳感器物理上的限制,獲取到的深度圖通常具有很大程度的模糊和噪聲,所以需要對(duì)深度圖的質(zhì)量進(jìn)行復(fù)原。鑒于深度圖的這些特性,本文提出了兩項(xiàng)針對(duì)深度圖編碼的技術(shù)和一項(xiàng)針對(duì)深度圖質(zhì)量復(fù)原的技術(shù)。本文的主要工作和創(chuàng)新之處在于:
　　1.提出了基于合成視點(diǎn)失真估計(jì)的深度圖編碼方法。
　　本文充分分析了深度圖編碼對(duì)合成視點(diǎn)質(zhì)量的影響,提出了用于深度圖編碼的失真模型。該失真模型用來估計(jì)深度編碼對(duì)

4、合成視點(diǎn)的影響。本文利用估計(jì)的合成視點(diǎn)失真來代替原有深度圖失真進(jìn)行RD最優(yōu)化的模式?jīng)Q策過程。
　　2.提出了基于視差的深度圖編碼方法。
　　本文提出了對(duì)深度圖對(duì)應(yīng)的視差圖進(jìn)行編碼來大幅度降低編碼深度信息的碼率,而對(duì)合成視點(diǎn)的質(zhì)量沒有較大的影響。該方法考慮了一種特殊的應(yīng)用場合,即虛擬視點(diǎn)的位置在編碼前已知。在目前的3D系統(tǒng)中虛擬視點(diǎn)的位置可以通過一個(gè)反饋網(wǎng)絡(luò)得到,所以基于視差的深度圖編碼有著重要意義。
　　3.提出了基于