RGB--D圖像的顯著目標(biāo)檢測(cè)方法研究及其應(yīng)用.pdf

1、長期以來，計(jì)算機(jī)視覺一直是神經(jīng)生物科學(xué)、心理學(xué)和人類感知方面的探索熱點(diǎn)。主要指的是在早期視覺處理階段上，低層次的測(cè)量刺激人眼的注意。意識(shí)到，早期人們看見一張圖片時(shí)把預(yù)測(cè)顯著性當(dāng)成一項(xiàng)任務(wù)，近年來，已經(jīng)延伸到物體水平上的顯著性檢測(cè)，將顯著物體從背景分離開來。研究的熱點(diǎn)側(cè)重于物體級(jí)的模型檢測(cè)研究，比如物體檢測(cè)和識(shí)別，圖像檢索和分類，內(nèi)容感知等等。
　　2D顯著目標(biāo)檢測(cè):為了在二維RGB圖像上進(jìn)行顯著物體檢測(cè)，大多數(shù)現(xiàn)有的算法可以分為兩

2、種:局部和全局。局部的檢測(cè)方法通過測(cè)量特定窗口中的區(qū)域相對(duì)于其鄰域的稀少性來檢測(cè)目標(biāo)。Itti等人首先提出關(guān)于圖像的計(jì)算機(jī)視覺研究機(jī)制。并研究出關(guān)于特征值的計(jì)算中心-領(lǐng)域差異性的的算法。Harel等人研究一張圖在圖片中采用隨機(jī)行走計(jì)算顯著值。為了突出整體的前景目標(biāo)，使用多尺度的對(duì)比算法以及多角度進(jìn)行融合的方法。局部對(duì)比方法缺少全局關(guān)系和結(jié)構(gòu)，對(duì)高頻內(nèi)容和噪聲比較敏感。全局方法通過圖像的整體稀疏性來估算圖像區(qū)域的顯著性大小。Achanta

3、等人通過計(jì)算RGB彩色圖像中關(guān)于像素水平上顏色差異性得到目標(biāo)顯著性。然而這個(gè)定義只占1％的顏色平均值，在復(fù)雜背景下容易導(dǎo)致性能下降。Goferman等人通過低層次角度和全局關(guān)系為背景，提出了改進(jìn)的突出顯著目標(biāo)檢測(cè)的方法，設(shè)計(jì)一個(gè)全局對(duì)比模型，計(jì)算三維圖像之間的不同點(diǎn)。
　　3D顯著目標(biāo)檢測(cè):與二維顯著性研究的進(jìn)展相反，獲取深度信息的限制給研究帶來了限制。Niu等人使用雙目圖像估算視差圖，且僅僅使用深度數(shù)據(jù)來進(jìn)行顯著目標(biāo)的識(shí)別。因而

4、其檢測(cè)結(jié)果依賴于視差圖估算的質(zhì)量，對(duì)后續(xù)計(jì)算機(jī)視覺的研究存在一定的阻礙。隨后Lang等人收集了600張RGB和RGB-D圖像，在其中進(jìn)行了比較研究二維和三維場(chǎng)景中，眼睛固定的預(yù)測(cè)，而不是物體的預(yù)測(cè)。
　　隨著計(jì)算機(jī)視覺得到很多專家和學(xué)者們?cè)絹碓蕉嗟闹匾暫团d趣，深度信息被證明其三維布局和形狀特征在視覺研究中帶來更多的圖像信息，具有有效性。依據(jù)Kinect主動(dòng)距式傳感器的生產(chǎn)水平的提高，使用設(shè)備獲得RGB彩色圖和深度信息的也變得越來越

5、方便，研究者們和專家們進(jìn)而轉(zhuǎn)向?qū)θS圖RGB-D進(jìn)行顯著目標(biāo)檢測(cè)的關(guān)注和探索也越來越多。而大部分顯著性檢測(cè)的工作側(cè)重于2維圖像上方法的研究，并沒有很好的利用深度信息RGB-D的顯著性方法。
　　本文首先提出了融合顯著深度特征的RGB-D圖像顯著目標(biāo)檢測(cè)的方法。該方法首先對(duì)原始深度圖進(jìn)行了預(yù)處理得到深度顯著圖。將其和顏色特征一起結(jié)合成綜合特征，具體預(yù)處理包括以下方面:背景頂點(diǎn)區(qū)域、構(gòu)圖交點(diǎn)、緊密度的多角度融合形成深度顯著圖;其次，從

6、前景角度，將綜合特征通過邊連接權(quán)重構(gòu)造關(guān)聯(lián)矩陣，根據(jù)構(gòu)圖先驗(yàn)，假設(shè)多層中心矩形為前景種子，通過流形排序方法計(jì)算出RGB-D圖像的前景顯著圖;從背景角度，根據(jù)背景先驗(yàn)以及邊界連通性計(jì)算出背景顯著圖;最后，將前景顯著圖和背景顯著圖進(jìn)行融合并優(yōu)化得到最終顯著圖。
　　本文隨后提出了深度顯著圖增強(qiáng)RGB-D圖像的顯著目標(biāo)檢測(cè)的方法。該方法首先使用LBE局部封閉的方法預(yù)處理深度圖，并將其為特征來加強(qiáng)RGB-D圖中RGB彩色圖的流形排序得到R

7、GB彩色圖的顯著圖;利用來指導(dǎo)深度圖的流形排序得到;最后將RGB彩色圖的顯著結(jié)果圖和Depth深度圖的顯著結(jié)果圖兩者融合得到RGB-D圖的顯著結(jié)果圖。
　　本文在兩個(gè)公開的數(shù)據(jù)集RGB-D1000和NJU-DS2000上進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，本文提出深度顯著圖的方法可以明顯地增加檢測(cè)效果。
　　本文最后提出了融合顯著深度特征的RGB-D圖像顯著目標(biāo)檢測(cè)的方法—在人臉檢測(cè)方面的應(yīng)用。該方法是將第一部分提出的RGB-D顯