Kinect深度圖像修復(fù)技術(shù)研究.pdf

1、自2010年11月kinect問世以來，它受到了眾多學(xué)者的關(guān)注。到目前為止，kinect就被應(yīng)用到了多個(gè)計(jì)算機(jī)視覺領(lǐng)域當(dāng)中去，其中在跟蹤和識別領(lǐng)域的應(yīng)用最為廣泛。然而，很少有基于kinect的匹配和分割技術(shù)方面的研究被提出，這主要是由于kinect深度圖像中的各種誤差影響限制了其在這些領(lǐng)域的應(yīng)用，為了擴(kuò)展kinect將來的應(yīng)用范圍，其深度圖像修復(fù)技術(shù)將會越來越受到人們的重視。本文從單幀與多幀的角度出發(fā)研究了kinect的深度圖像修復(fù)技術(shù)

2、，主要研究內(nèi)容包括：
　?、旁趩螏那闆r下，通過彩色圖像中的信息來修復(fù)深度圖像。雖然Kinect能夠同時(shí)生成深度圖像和彩色圖像，但是仔細(xì)觀察不難發(fā)現(xiàn)這兩幅圖像中物體的邊界是非對齊的，深度圖像中物體的深度值會溢出物體的邊界，本文將這些溢出的深度值稱作干擾深度值。針對這種情況，本文提出了一個(gè)干擾消除方法，通過對彩色圖像和深度圖像同時(shí)進(jìn)行canny邊緣檢測，將兩幅圖像邊緣之間非對齊的深度像素點(diǎn)全部置為黑洞（即將該點(diǎn)的灰度值設(shè)置為0），這

3、樣就可以得到一幅消除掉干擾深度值后的深度圖像。
　　⑵在得到干擾消除的深度圖像后，針對其具有大面積黑洞區(qū)域的特殊情況，本文結(jié)合迭代的思想，在充分考慮了彩色圖像中的空域信息，顏色信息以及結(jié)構(gòu)相似度(SSIM)信息的基礎(chǔ)上，提出了一個(gè)迭代聯(lián)合三邊濾波器。通過用這個(gè)濾波器對黑洞區(qū)域進(jìn)行黑洞填充，來得到高質(zhì)量的深度圖像。最后針對黑洞填充后的深度圖像中存在的偽影，為了能夠消除偽影卻不破壞深度圖像中的邊界，本文將聯(lián)合三邊濾波器中的值域?yàn)V波器進(jìn)

4、行自適應(yīng)處理，然后通過對深度圖像進(jìn)行濾波處理來消除偽影。
　?、窃诙鄮那闆r下，由于kinect的隨機(jī)誤差和精度會隨著目標(biāo)與kinect之間的距離而改變，從而導(dǎo)致目標(biāo)距離kinect稍遠(yuǎn)的情況下，目標(biāo)表面的深度值會隨著時(shí)間而進(jìn)行隨機(jī)的跳變。為了解決這個(gè)問題，本文通過卡爾曼濾波算法在各個(gè)深度圖像之間建立聯(lián)系，通過上一時(shí)刻深度值預(yù)測出當(dāng)前時(shí)刻的深度值，將當(dāng)前時(shí)刻的深度預(yù)測值與當(dāng)前時(shí)刻的深度值相結(jié)合來計(jì)算出當(dāng)前時(shí)刻的深度最優(yōu)值。實(shí)驗(yàn)表明