基于稀疏表示的RGB-D圖像特征學(xué)習(xí)研究與應(yīng)用.pdf

1、RGB-D(彩色與深度)圖像分類(lèi)是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。將彩色信息與反映物體表面三維特征的深度信息融合，可極大地提高圖像分類(lèi)準(zhǔn)確率。然而，對(duì)于大規(guī)模、復(fù)雜場(chǎng)景的RGB-D圖像分類(lèi)問(wèn)題，傳統(tǒng)的特征提取方法往往需要手工設(shè)計(jì)特征，且難以提取辨別性能高的稀疏性特征，影響了分類(lèi)性能。稀疏表示方法具有魯棒性好、泛化能力和抗干擾能力強(qiáng)特點(diǎn)；深度學(xué)習(xí)能自動(dòng)地對(duì)輸入樣本圖像進(jìn)行本質(zhì)特征抽取，這兩類(lèi)新方法的出現(xiàn)為RGB-D圖像特征提取與學(xué)習(xí)注入新的

2、方向。研究快速、有效的RGB-D圖像稀疏表示方法。將其與深度學(xué)習(xí)技術(shù)融合，提出高效的RGB-D圖像特征自動(dòng)學(xué)習(xí)方法，應(yīng)用到水果分類(lèi)識(shí)別中，不僅將極大地推動(dòng)圖像分類(lèi)研究的進(jìn)程，也將促進(jìn)農(nóng)業(yè)計(jì)算機(jī)視覺(jué)的應(yīng)用發(fā)展，具有重要的理論和現(xiàn)實(shí)意義。
　　本文以提高RGB-D圖像分類(lèi)準(zhǔn)確率為目標(biāo)，采用稀疏表示和深度學(xué)習(xí)理論研究RGB-D圖像特征提取、表達(dá)和學(xué)習(xí)方法。在分析目前特征提取與表達(dá)的基礎(chǔ)上，提出新的特征學(xué)習(xí)方法，并將其應(yīng)用到RGB-D圖像

3、分類(lèi)和水果成熟度判別中。主要研究?jī)?nèi)容和創(chuàng)新工作包括以下幾個(gè)方面：
　?。?）提出了基于局部約束稀疏編碼（Locality-constrained Linear Coding，LLC）的RGB-D圖像特征表達(dá)方法。針對(duì)經(jīng)典的稀疏編碼速度慢以及未考慮特征的局部性問(wèn)題，該方法分別對(duì)RGB圖像和depth圖像提取SIFT特征，利用LLC形成RGB-D圖像的特征表示。與經(jīng)典的稀疏表示相比，該方法同時(shí)考慮了特征的稀疏性與局部性，更加有利于圖像

4、分類(lèi)和目標(biāo)識(shí)別。在水果種類(lèi)分類(lèi)和RGB-D數(shù)據(jù)集上驗(yàn)證了局部約束稀疏表示的有效性。
　?。?）提出了改進(jìn)結(jié)構(gòu)化稀疏表示的RGB-D圖像特征學(xué)習(xí)算法。針對(duì)RGB-D形
　　狀高相似度圖像難區(qū)分問(wèn)題，在優(yōu)化函數(shù)中引入理想類(lèi)別標(biāo)記項(xiàng)來(lái)增強(qiáng)字典判別性能，采用交替方向乘子（Alternating Direction Method of Multipliers,ADMM）方法推導(dǎo)字典學(xué)習(xí)與稀疏編碼求解，獲取改進(jìn)的結(jié)構(gòu)化稀疏表示作為特征表

5、示，完成圖像分類(lèi)。該方法在保證特征學(xué)習(xí)的稀疏性基礎(chǔ)上，同時(shí)實(shí)現(xiàn)類(lèi)類(lèi)之間距離最大和類(lèi)內(nèi)距離最小約束，實(shí)現(xiàn)相似圖像有效區(qū)分。在RGB-D數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，表明了該方法比經(jīng)典的組稀疏方法具有更好的性能。
　?。?）提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）融合組稀疏表示的RGB-D圖像特征學(xué)習(xí)方法。傳統(tǒng)的特征表示方法中，其特征提取一般使用手工設(shè)計(jì)圖像局部特征，這很大程度上依靠專家經(jīng)驗(yàn)知識(shí)

6、，缺乏特征提取的通用性，利用CNN方法，能自動(dòng)從源圖像中直接提取圖像的邊緣，紋理和顏色特征，形成圖像的全局和局部融合特征。但是，CNN學(xué)習(xí)特征冗余較大，需進(jìn)一步用很少的數(shù)據(jù)捕獲其中的重要信息。組稀疏表示方法結(jié)合了稀疏表示中的L1-范數(shù)約束以及嶺回歸中的L2-范數(shù)約束，在組間盡可能稀疏，同時(shí)保持組內(nèi)盡可能小的損失誤差。對(duì)比稀疏表示方法，該方法融合CNN自動(dòng)學(xué)習(xí)特征與組稀疏的組效應(yīng)優(yōu)點(diǎn)，在圖像分類(lèi)中能獲取得更好的性能。
　?。?）提出

7、一種基于深度學(xué)習(xí)與組稀疏的RGB-D圖像層次特征學(xué)習(xí)模型。首先，采用卷積遞歸神經(jīng)網(wǎng)絡(luò)方法分別從源RGB和深度圖像中自動(dòng)提取低層和中層特征；然后，采用組稀疏編碼和改進(jìn)的塊字典學(xué)習(xí)方法對(duì)圖像特征進(jìn)行深入學(xué)習(xí)，獲取更具區(qū)分與判別能力的高層特征表示；最后采用softmax分類(lèi)器實(shí)現(xiàn)RGB-D圖像分類(lèi)。在RGB-D數(shù)據(jù)集和2D3D數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，表明該層次特征學(xué)習(xí)方法能有效完成大規(guī)模數(shù)據(jù)集分類(lèi)，對(duì)比其他特征學(xué)習(xí)方法，其準(zhǔn)確率有明顯提升，同時(shí)

8、融合彩色與深度圖像特征可顯著提高圖像分類(lèi)準(zhǔn)確率。
　?。?）設(shè)計(jì)與實(shí)現(xiàn)自然場(chǎng)景下百香果目標(biāo)檢測(cè)與成熟度分類(lèi)的系統(tǒng)。為了實(shí)現(xiàn)機(jī)器人快速的百香果適時(shí)采摘，首先采用kinect2.0設(shè)備，建立果園場(chǎng)景下百香果RGB-D數(shù)據(jù)庫(kù)；然后對(duì)RGB圖像和深度圖像分別采用HOG特征和Adaboost級(jí)聯(lián)方法完成百香果果實(shí)檢測(cè)，其檢測(cè)精度達(dá)到82.9％；最后利用彩色SIFT特征融合ScSPM、彩色SIFT特征融合LLC和CNN特征學(xué)習(xí)方法對(duì)檢測(cè)出的百

9、香果果實(shí)進(jìn)行成熟度判別，三種方法中，彩色SIFT特征融合LLC方法取得最好的分類(lèi)準(zhǔn)確率(91.52%)，能高效地完成自然場(chǎng)景下百香果果實(shí)的成熟度分類(lèi)作業(yè)。
　　通過(guò)上述的研究工作，結(jié)果表明：有效的特征編碼方法，即稀疏表示方法能夠極大地改善RGB-D視覺(jué)圖像分類(lèi)和識(shí)別的性能；基于深度學(xué)習(xí)結(jié)構(gòu)的特征方法能夠?qū)υ嫉膱D像數(shù)據(jù)學(xué)習(xí)出有效的特征，避免了人工設(shè)計(jì)特征的復(fù)雜性?；谙∈璞硎竞蜕疃葘W(xué)習(xí)的特征提取方法，在圖像識(shí)別上可獲得較高的準(zhǔn)確率