面向室內(nèi)場景的3D場景重建與語義理解.pdf

1、場景感知與理解是計算機視覺、人工智能、智能機器人的一項長期目標。近年來，隨著深度傳感器的發(fā)展，基于深度攝像頭的室內(nèi)場景感知技術(shù)得到了越來越多的關(guān)注與研究。本文關(guān)注于室內(nèi)場景的構(gòu)建與理解，提出了從RGB-D場景構(gòu)建，RGB-D圖像語義理解到語義場景地圖的構(gòu)建一整套系統(tǒng)。具體如下:
　　第一，本文采用RGB-D圖像進行場景拼接，構(gòu)建全局場景地圖。利用幀間對齊技術(shù)進行圖像拼接，并用環(huán)檢測和位姿圖優(yōu)化的方法消除幀間累積誤差，從而保證可以進

2、行大尺度的場景構(gòu)建，在全局場景表示方面，提出了點云與Mesh兩種表示方法。
　　第二，為了達到語義理解的目的，對RGB-D圖像進行語義分割，其目的是將圖像中的每個像素點都分類成類別。將每個像素點與兩種類別相關(guān)聯(lián):物體類別與結(jié)構(gòu)類別。結(jié)構(gòu)類別保證人們可以宏觀結(jié)構(gòu)上理解圖像（如家具、墻、小物體的分布），而物體類別可以使我們了解到圖像中物體的具體分布。通過條件隨機場模型(CRF)的聯(lián)合推理實現(xiàn)圖像的語義分割。
　　第三，通過將RG

3、B-D場景重建技術(shù)和語義分割技術(shù)相結(jié)合，就可以構(gòu)建全局場景的語義地圖，但是RGB-D圖像序列的語義分割結(jié)果不具有時序一致性，本文通過計算幀間超像素的對應關(guān)系捕獲時序性信息，將其建模為高階勢能，利用高階CRF模型進行推理，從而加強時序性約束，得到時序一致的語義地圖。
　　第四，人工標注圖像進行訓練往往要耗費大量人工與時間，本文提出減少人工標注工作量的方法。先從圖像序列中選出極少的圖像進行人工標注，再利用標注傳播的方法自動標注剩余圖像

4、和場景，從而解決訓練圖像需要大量人工標注的問題。
　　本文的主要貢獻與創(chuàng)新之處在于:
　　第一，本文通過多種方法保證了RGB-D重建系統(tǒng)的魯棒性、實時性、尺度性和自主性。魯棒性方面，本文將基于特征點對齊和基于ICP對齊的技術(shù)進行了結(jié)合，從而減少失敗的情況。實時性方面，本文對重建過程中的幾乎所有算法實現(xiàn)了GPU加速，包括角點、ORB特征點計算、特征點匹配、RANSAC算法、ICP算法、稀疏化算法、Marching cubes算

5、法等等。在尺度性上，本文采用環(huán)檢測與全局位姿圖優(yōu)化的方法進行誤差消除，保證全局一致性。自主性方法，本文使用可佳機器人平臺，利用其導航系統(tǒng)實現(xiàn)服務機器人自主構(gòu)建室內(nèi)場景3D地圖的功能。
　　第二，本文利用多種上下文關(guān)系進行RGB-D圖像的語義分割。通過CRF圖模型，本文實現(xiàn)了圖像場景類別、超像素的物體類別和結(jié)構(gòu)類別的聯(lián)合推理。同時建立了多種成對點勢能關(guān)系，包括場景與物體關(guān)系、物體與物體關(guān)系、物體與結(jié)構(gòu)關(guān)系、空間位置關(guān)系等。通過圖模型

6、的聯(lián)合推理，保證了分類結(jié)果在空間上的一致性。
　　第三，本文通過對RGB-D圖像序列計算時序信息，擴展CRF模型的高階勢能，利用高階勢能加強時序約束來保證最終語義地圖的時序一致性，提高了語義地圖準確度。
　　第四，本文利用RGB-D圖像序列之間的3D位姿關(guān)系，通過找出最小的可以覆蓋整個場景的標注幀，利用標注傳播的技術(shù)進行圖像的自動標注，大大減少了人工標注訓練數(shù)據(jù)的工作量。實驗表明對于1831幀的圖像序列，只需人工標注22幀的