結(jié)合TOF相機(jī)和立體相機(jī)的3D立體成像系統(tǒng)研究.pdf

1、3D立體成像是當(dāng)前3D立體視覺領(lǐng)域研究中最為基礎(chǔ)的一個環(huán)節(jié)。在3D立體成像過程中，如何獲取場景的真實深度信息是關(guān)鍵?；谒@得的場景深度信息，結(jié)合該場景的彩色圖像，經(jīng)過恰當(dāng)?shù)?D轉(zhuǎn)3D方法進(jìn)行圖像處理就能得到可以被人眼通過相應(yīng)的觀看方式感知到3D立體效果的圖像。當(dāng)前研究領(lǐng)域?qū)鼍吧疃刃畔⒌墨@取主要有兩種方法：一種是使用立體相機(jī)或多視角相機(jī)群獲取到場景的多角度彩色圖像，再采取立體匹配算法進(jìn)行不同視圖的視差圖估計，得到的視差圖間接地反映了深

2、度信息；另一種是利用深度相機(jī)獲取場景的深度圖像，得到的深度圖直接地反映深度信息。然而就獲得的深度圖像質(zhì)量而言，目前應(yīng)用較為廣泛的深度相機(jī)和立體相機(jī)有著各自的優(yōu)缺點：深度相機(jī)得到的深度圖精確度相對較高但分辨率較小，立體相機(jī)獲得的彩色圖像組經(jīng)立體匹配算法估計得到的視差圖分辨率相對較高但誤匹配率較大。因此，如何獲取場景的真實深度信息并同時保證其質(zhì)量和分辨率便于其他研究算法的應(yīng)用，成為相機(jī)成像系統(tǒng)的主要研究目標(biāo)。
　　本研究主要內(nèi)容包括：

3、⑴結(jié)合深度相機(jī)Time-of-Flight(TOF)和三目相機(jī)，搭建相機(jī)軟硬件平臺。啟動相機(jī)并分別對各個相機(jī)進(jìn)行相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的單獨(dú)標(biāo)定，以及TOF相機(jī)與三目相機(jī)之間的立體標(biāo)定，實現(xiàn)將兩個相機(jī)的成像投影到同一個圖像平面。⑵搭建一個基于快速WMF算法的S3D成像系統(tǒng)。在相機(jī)標(biāo)定的基礎(chǔ)上，為了匹配立體相機(jī)獲取的高分辨率彩色圖像 R，首先對TOF獲取的低分辨率深度圖像D進(jìn)行雙三次內(nèi)插法上采樣得到Du，其次對存在一定噪聲和由相機(jī)標(biāo)定

4、參數(shù)誤差引起的無深度值區(qū)域的Du進(jìn)行合理截圖得到Dcrop，然后將Dcrop結(jié)合R進(jìn)行快速加權(quán)中值濾波得到分辨率較高且質(zhì)量較好的Dref，最后將濾波后的Dref與彩色圖像R作為輸入，經(jīng)過DIBR算法渲染可在幾秒的時間內(nèi)生成當(dāng)前場景的S3D紅藍(lán)視圖。由于TOF相機(jī)性能特點，系統(tǒng)獲取到的Dref依然存在些許細(xì)微噪聲以及某些特殊場景下的反光平面、超出TOF相機(jī)測量區(qū)域的深度值存在斑狀不平滑的情況，因此設(shè)想利用三目相機(jī)得到該場景的視差圖，再將其

5、與深度圖進(jìn)行合理的圖像融合以得到更高質(zhì)量的深度圖，進(jìn)而得到能帶來更好3D體驗的立體3D圖像。⑶提出一種利用確定性區(qū)域檢測和自適應(yīng)視差調(diào)整的保護(hù)邊緣的立體匹配方法，此方法主要貢獻(xiàn)是針對誤匹配的區(qū)域進(jìn)行確定性檢測和視差調(diào)整，以得到高質(zhì)量的視差圖。首先對左右視圖進(jìn)行采用均值漂移算法進(jìn)行分割圖像，其次參照圖像的分割信息分別估計左右視圖的視差值，然后對左右視差圖進(jìn)行區(qū)域確定性檢測并標(biāo)記，最后利用每個像素的顏色相似度、空間距離和所在區(qū)域所標(biāo)記的確定