基于實時三維重建的遠程呈現(xiàn)技術.pdf

1、溝通是人類永恒的話題，而面對面交流是最直接有效的一種溝通方式。然而隨著經(jīng)濟全球化和勞動力移動化，面對面交流并不總是可行而且往往代價高昂，人們迫切需要一種新的多媒體通信技術，為不同地理位置的人們帶來虛擬面對面溝通的沉浸式體驗。因而，綜合應用通信和虛擬現(xiàn)實技術的遠程呈現(xiàn)（Tele-Presence）技術成為近年來研究的熱點。市場上已有的軟件會話軟件和商用遠程呈現(xiàn)系統(tǒng)僅能提供普通的二維視頻會議體驗，其主要缺陷是屏幕顯示結果與用戶的觀察角度無關

2、。這些局限造成了沉浸感的缺失。在已有的遠程呈現(xiàn)系統(tǒng)研究工作中，基于多RGB-D攝像機的實時重建技術兼具不錯的重建質量和實時的幀率，展現(xiàn)出了優(yōu)秀的潛力。
　　本文在已有的方法上進行擴展，研究和實現(xiàn)了一個基于多RGB-D攝像機實時三維重建的一對一遠程呈現(xiàn)系統(tǒng)，為用戶提供視角相關的顯示效果。首先，提出了一個靈活的遠程呈現(xiàn)框架，將系統(tǒng)分為幾個獨立的技術模塊：實時三維重建模塊、追蹤模塊、顯示模塊、編解碼模塊和網(wǎng)絡模塊，實現(xiàn)了遠程呈現(xiàn)的功能雛

3、形。其次，重點研究和實現(xiàn)了一個基于多RGB-D攝像機的實時三維重建算法，在保持足夠高的實時幀率情況下通過彩色圖的顏色校正、基于二次中值濾波的深度圖填充與平滑等多種方法提高重建質量。再次，針對用戶交互延時問題，提出了一種基于三維圖像變換的渲染算法，并將其在CUDA上實現(xiàn)。該算法在本地根據(jù)已有的彩色和深度圖像快速得到新視點下的觀察結果，從而降低因網(wǎng)絡來回、圖像編解碼和傳統(tǒng)渲染過程等帶來的交互延時。最后，通過一系列實驗說明系統(tǒng)的整體效果和性能