三維視頻壓縮、傳輸、渲染相關(guān)技術(shù)的研究.pdf

1、作為計(jì)算機(jī)視覺(jué)、圖形學(xué)以及多媒體技術(shù)的一種融合，三維視頻技術(shù)正在快速發(fā)展并被廣泛應(yīng)用。不同于傳統(tǒng)的計(jì)算機(jī)圖形學(xué)技術(shù)，三維視頻提供給人們的三維視覺(jué)體驗(yàn)是基于采集到真實(shí)世界的視頻信號(hào)，并通過(guò)視角合成和渲染等技術(shù)達(dá)到的。近幾年，隨著傳感器技術(shù)等相關(guān)領(lǐng)域的發(fā)展，三維視頻處理技術(shù)得到了快速的發(fā)展，越來(lái)越多的視頻渲染方法被設(shè)計(jì)出來(lái)以提高三維視覺(jué)體驗(yàn)。本論文針對(duì)基于圖像渲染框架的三維視頻、深度信息的處理、壓縮和渲染等問(wèn)題做出了相關(guān)研究。
　　由

2、于深度信息被廣泛應(yīng)用于三維視頻渲染中，越來(lái)越多深度傳感器被設(shè)計(jì)出來(lái)以更低的成本和更高的精度來(lái)采集深度信息。Kinect作為一種低成本深度傳感器便被廣泛應(yīng)用于三維視頻渲染中。因此，本論文首先提出了一種Kinect深度信息的修復(fù)算法，修復(fù)Kinect深度圖像中缺失的信息，抑制圖像中的失真和噪聲，提高Kinect深度圖像的質(zhì)量，進(jìn)而提高相應(yīng)后續(xù)處理的性能。
　　在許多應(yīng)用場(chǎng)景中，深度信息和紋理信息需要傳輸?shù)竭h(yuǎn)端進(jìn)行處理，如何提高深度信息

3、的壓縮性能，直接影響著整個(gè)系統(tǒng)的性能。本論文針對(duì)Kinect深度信息特殊的數(shù)據(jù)性質(zhì)，設(shè)計(jì)了一個(gè)Kinect深度視頻壓縮算法來(lái)有效的進(jìn)行數(shù)據(jù)壓縮。我們首先設(shè)計(jì)了自適應(yīng)的雙邊濾波器來(lái)去除Kinect深度圖像中的噪聲，修復(fù)因?yàn)樵肼暥黄茐牡臄?shù)據(jù)相關(guān)性。在傳統(tǒng)的視頻編碼之前，我們引入2D+T預(yù)測(cè)模塊來(lái)去除數(shù)據(jù)在時(shí)間域上的冗余。我們利用生成的三維物體表面參考圖像來(lái)區(qū)分動(dòng)態(tài)區(qū)域和靜態(tài)區(qū)域。其中動(dòng)態(tài)區(qū)域利用傳統(tǒng)編碼器進(jìn)行壓縮，而靜態(tài)區(qū)域則跳過(guò)壓縮，在

4、解碼端利用三維參考平面恢復(fù)重建。
　　考慮到高動(dòng)態(tài)深度信息正在替代傳統(tǒng)的8比特深度信息，被廣泛的應(yīng)用于許多三維視頻處理中，在本論文中，我們針對(duì)高動(dòng)態(tài)范圍的深度圖像和視頻設(shè)計(jì)了一種基于分層的編碼壓縮算法。在該算法中，高動(dòng)態(tài)范圍的深度圖像在位深度平面上被分為高數(shù)據(jù)位層和低數(shù)據(jù)位層。其中，高數(shù)據(jù)位層深度圖像代表了深度信息的大致變化規(guī)律，具有突出的邊緣，因此，我們?cè)O(shè)計(jì)了像素域的編碼方法來(lái)壓縮本層信息。低數(shù)據(jù)位層深度圖像包含深度信息的細(xì)微變

5、化，我們利用傳統(tǒng)的基于變換的壓縮算法來(lái)進(jìn)行壓縮。低層數(shù)據(jù)的動(dòng)態(tài)范圍保證在8比特內(nèi)，現(xiàn)有的圖像和視頻編碼器均可被集成進(jìn)來(lái)。
　　作為三維視頻的一種流行方式，任意視角視頻被廣泛的使用。人們希望在移動(dòng)終端上觀看三維視頻。但是，由于實(shí)時(shí)傳輸和渲染多路紋理視頻和深度視頻對(duì)于帶寬和計(jì)算資源的要求是無(wú)線信道和移動(dòng)設(shè)備所無(wú)法承受的。因此，為了實(shí)現(xiàn)在移動(dòng)端觀看三維視頻，我們提出了基于云計(jì)算框架的移動(dòng)端任意視角視頻渲染框架。在該框架中，我們根據(jù)用戶的