基于上下文的RGB-D場景理解.pdf

1、在結合實際課題研究的基礎上，本文深入研究了RGB-D室內場景中的物體檢測與點云標注問題。本文工作的主要內容及貢獻可以概括為如下幾個方面:
　　1.首先從跨模態(tài)特征學習這一角度出發(fā)，提出了一套基于雙模深度玻爾茲曼機的RGB-D場景物體檢測算法，實現(xiàn)了RGB和Depth兩個不同模態(tài)的跨模態(tài)特征學習。為實現(xiàn)RGB和Depth兩個不同模態(tài)的跨模態(tài)學習，我們采用了雙模深度玻爾茲曼機得到兩個不同模態(tài)的融合特征。為實現(xiàn)RGB-D場景中的物體魯棒

2、性檢測，采用3D滑動檢測的方法在3D點云中檢測物體。本章算法的輸入為單幀RGB-D圖像，RGB-D圖像由Kinect獲取并帶有重力方向信息。在檢測物體時，我們用3D包圍盒在點云中滑動，為計算每個3D包圍盒關于物體類別的得分，我們首先將RGB-D點云中的3D包圍盒投影到RGB-D參考幀上，分別在RGB圖像和Depth圖像上得到2D包圍盒。接著將2D包圍盒對應的RGB數(shù)據和Depth數(shù)據輸入到預訓練好的R-CNNs模型，得到包圍盒關于RGB

3、和Depth兩種模態(tài)的初始特征。然后將RGB和Depth兩種模態(tài)的初始特征輸入到本章設計的雙模DBM模型中，得到了3D包圍盒關于兩種模態(tài)的融合特征。再將融合特征輸入到樣例SVMs中得到3D包圍盒關于各個樣例SVM的得分。最后采用非極大值抑制算法，得到RGB-D點云中存在感興趣物體的3D包圍盒。本文提出的RGB-D室內場景物體檢測算法框架創(chuàng)新主要在于雙模特征學習和3D魯棒檢測兩個方面。在RMRC上的實驗表明，本文提出的基于雙模深度玻爾茲曼

4、機的檢測算法能夠為RGB-D場景的理解學習到有用的特征。
　　2.針對RGB-D場景室內場景中小物體標注精度較低這一問題，提出了一套基于檢測的點云標注框架。在此工作中，我們研究了點云分割以及幾何上下文信息對點云標注的影響。在真實場景中，連續(xù)的、具有相近紋理的區(qū)域往往對應著同一個物體。本文從這一事實出發(fā)，提出了一套基于檢測的3D點云室內場景的標注算法，將RGB-D點云參考幀上的檢測結果映射到點云分割塊上。該算法適用于由Kinect視

5、頻數(shù)據生成的RGB-D室內點云場景。本文提出的這一套室內點云標注算法主要由點云分割和馬爾可夫模型構建與求解兩部分組成。首先，利用3D重建技術由RGB-D視頻得到場景的RGB-D點云;然后，利用法向量、曲率以及顏色等信息將3D室內點云分割為顏色、紋理一致的超體素;接著以超體素為節(jié)點并加入簡單空間幾何信息構成成對關聯(lián)的馬爾可夫模型;最后通過圖割算法求解MRF得到RGB-D點云中個點對應的物體類別標簽。在RGB-D Object Datase

6、t上的實驗結果表明本文算法同對比算法相比的優(yōu)越性，說明了點云分割以及簡單的幾何上下文信息有助于提高點云標注的表現(xiàn)。此部分的研究也表明，馬爾可夫模型在數(shù)據項有較高精度的情況下，平滑項才可以提高馬爾可夫模型的整體表現(xiàn)。
　　3.為提高RGB-D場景中物體檢測的精度，提出了一套基于上下文的RGB-D室內場景理解模型。物體在場景的出現(xiàn)并非是隨機的，而是符合特定規(guī)律的。在真實世界中，物體和場景之間以及物體與物體之間具有一定的關聯(lián)。在給定場景

7、類別信息的情況下，我們能對場景中物體的檢測有更好的限制。為建模物體與物體之間以及物體與場景類別之間的上下文關系，我們提出了一套基于CRF的場景理解多任務模型。CRF模型中的節(jié)點由場景和潛在的物體組成。在模型學習與推導的過程中，采用主對偶學習框架學習CRF模型中的參數(shù)，采用近似推理的手段求取CRF模型能量函數(shù)最小時對應的場景中各節(jié)點標簽。通過在公用數(shù)據集NYUDv2上的實驗表明，本文提出的多任務模型可以提高RGB-D室內場景物體檢測的水平