基于卷積神經(jīng)網(wǎng)絡(luò)與3D幾何語義的室內(nèi)場景理解研究.pdf

1、場景理解是計(jì)算機(jī)視覺方向的重要研究課題之一，在很多領(lǐng)域得到了廣泛的應(yīng)用，主要包括移動(dòng)機(jī)器人、圖像信息檢索、智能監(jiān)控、智能家居等，有十分重要的研究意義以及應(yīng)用價(jià)值。而相較于室外場景，室內(nèi)場景因其復(fù)雜的結(jié)構(gòu)和種類繁多的內(nèi)部物品等問題，使得研究工作相對進(jìn)展較慢，且更具挑戰(zhàn)性。
　　本文針對室內(nèi)場景，從場景類別、目標(biāo)檢測以及空間布局估計(jì)三個(gè)方面對圖像場景進(jìn)行深入理解，提出了對三項(xiàng)工作進(jìn)行有機(jī)結(jié)合的方法，利用彼此間的相互作用，而不是單純地分

2、別進(jìn)行三個(gè)獨(dú)立工作，并且進(jìn)行了大量的實(shí)驗(yàn)，與眾多方法進(jìn)行了對比分析，結(jié)果證明了本文方法的有效性。本文的主要研究工作如下:
　　(1)基于卷積神經(jīng)網(wǎng)絡(luò)，提出了結(jié)合語義上下文信息的場景分類方法。對于場景級別的任務(wù)，場景復(fù)雜多樣，需要大量的訓(xùn)練數(shù)據(jù)。而利用圖像的語義上下文信息，即特定場景與目標(biāo)總是同時(shí)出現(xiàn)的，將其轉(zhuǎn)化為目標(biāo)級別的任務(wù)，可以降低對海量訓(xùn)練數(shù)據(jù)的依賴。將卷積神經(jīng)網(wǎng)絡(luò)提取的特征取代傳統(tǒng)的人工特征，與語義特征相融合，實(shí)現(xiàn)場景的分

3、類。實(shí)驗(yàn)結(jié)果表明，該分類方法在較小的訓(xùn)練集上仍有很好的表現(xiàn)。
　　(2)在傳統(tǒng)的基于幾何上下文的布局估計(jì)方法上，結(jié)合了信息邊緣。將由全卷積神經(jīng)網(wǎng)絡(luò)得到的信息邊緣作為先驗(yàn)條件，對于場景布局精細(xì)化劃分，基于信息邊緣，減少了對通過采樣頻率來提高采樣精度的依賴，避免了“雜亂”邊緣的影響，在幾何上下文避免遮擋問題的基礎(chǔ)上，提高了布局估計(jì)的準(zhǔn)確率;同時(shí)減少了對候選項(xiàng)進(jìn)行得分排序的工作量。
　　(3)除了利用上述2D空間中的信息，還通過建