基于TOF深度攝像機(jī)的深度超分辨率恢復(fù)和深度融合研究.pdf

1、三維技術(shù)在遠(yuǎn)程醫(yī)療、軍事訓(xùn)練、教育教學(xué)、游戲娛樂、三維電視等領(lǐng)域有著廣闊的應(yīng)用前景和商業(yè)價(jià)值。對深度信息的精確獲取是三維研究和三維實(shí)際應(yīng)用中所必需的關(guān)鍵技術(shù)。近年來，隨著三維技術(shù)的不斷發(fā)展，許多的應(yīng)用諸如:人機(jī)交互、三維電視、場景重建、手勢識(shí)別、增強(qiáng)現(xiàn)實(shí)等都對獲取場景的深度信息提出了更高的要求。這些應(yīng)用需要更加稠密精確的深度信息，也需要更加快速的獲取深度信息。本論文作者所在的實(shí)驗(yàn)室提出了較完整的具有創(chuàng)新性自然三維電視系統(tǒng)概念，其目的在于

2、還原實(shí)際拍攝場景的真實(shí)深度，并向觀眾提供舒適可信的三維觀賞體驗(yàn)。自然三維電視關(guān)鍵技術(shù)就在于真實(shí)獲取場景的深度信息，根據(jù)深度信息重構(gòu)出多個(gè)視點(diǎn)，以實(shí)現(xiàn)自由視點(diǎn)觀看實(shí)際場景。因此視點(diǎn)重構(gòu)技術(shù)對深度信息的精度就提出了更高的要求。
　　目前主流的深度信息獲取方式有兩種:被動(dòng)深度獲取和主動(dòng)深度獲取。被動(dòng)深度獲取方法出現(xiàn)較早，其核心即立體匹配算法，主要思路是根據(jù)多相機(jī)拍攝所得到的同一場景一組圖像，尋找場景中的同一點(diǎn)在這組圖像中的匹配點(diǎn)。但是被

3、動(dòng)立體算法無法獲取遮擋區(qū)域的信息，并且局部窗口算法或者全局優(yōu)化算法均各自存在不可克服的缺點(diǎn)。本實(shí)驗(yàn)室進(jìn)行的前期研究就是基于被動(dòng)深度獲取的思路獲取場景深度，并以此為基礎(chǔ)來實(shí)現(xiàn)三維自由視點(diǎn)顯示，但這種方法所得到的深度圖質(zhì)量難以滿足要求，最終的三維顯示效果還有待提高。因此本論文決定使用主動(dòng)深度獲取方法來提高所得到深度信息的精度。主動(dòng)立體采用特定的深度攝像機(jī)直接測量場景的真實(shí)深度。其中應(yīng)用范圍較廣的是ToF攝像機(jī)（全稱為time-of-flig

4、ht camera），它能實(shí)時(shí)采集場景深度信息，其工作原理是通過發(fā)射源發(fā)射可控頻率調(diào)制光線來進(jìn)行測距。本文基于ToF深度攝像機(jī)對深度攝像機(jī)所測量深度的誤差進(jìn)行矯正，深度超分辨率恢復(fù)，以及結(jié)合立體匹配的深度融合做了一系列的實(shí)驗(yàn)和研究，主要的創(chuàng)新點(diǎn)和貢獻(xiàn)如下:
　　1.本文簡要闡述了ToF深度攝像機(jī)的光學(xué)成像機(jī)制;本文針對影響ToF深度攝像機(jī)獲取數(shù)據(jù)精確的最主要兩類噪聲（環(huán)境光噪聲和多徑誤差噪聲）進(jìn)行了深入分析，提出了有效的針對性噪聲

5、消除方法。具體而言，根據(jù)從不同類型的室內(nèi)場景實(shí)際拍攝數(shù)據(jù)分析這兩類噪聲產(chǎn)生的機(jī)理，建立了這兩類噪聲產(chǎn)生誤差的數(shù)學(xué)模型;然后根據(jù)數(shù)學(xué)誤差模型提出了相應(yīng)的ToF原始深度圖的濾波算法，實(shí)驗(yàn)表明可有效地消除ToF深度攝像機(jī)所捕獲深度圖的原始誤差。
　　2.由于受到ToF深度相機(jī)成像原理的限制，所獲取深度圖分辨率往往不高，因此存在深度圖低分辨率與彩色場景圖高分辨率難以匹配這一不足。為了提升ToF深度圖的分辨率，本文根據(jù)ToF深度圖特有性質(zhì)，

6、結(jié)合壓縮感知相關(guān)理論，提出了一種聯(lián)合字典學(xué)習(xí)算法，用于ToF深度圖超分辨率恢復(fù)。該算法從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到超完備字典，基于超完備字典去重建原始低分辨率深度圖而得到高分辨率深度圖。為了提升算法性能，本文在聯(lián)合字典學(xué)習(xí)和重建過程中也提出了相應(yīng)的分類和索引機(jī)制。
　　3.為了進(jìn)一步獲取高質(zhì)量稠密深度圖，本文從ToF深度攝像機(jī)獲取的深度圖出發(fā)，結(jié)合立體匹配算法的優(yōu)點(diǎn)，提出了一種基于ToF深度圖的主被動(dòng)深度獲取融合算法。該算法設(shè)計(jì)了ToF深