基于卷積神經(jīng)網(wǎng)絡(luò)與3D幾何語(yǔ)義的室內(nèi)場(chǎng)景理解研究.pdf

1、場(chǎng)景理解是計(jì)算機(jī)視覺(jué)方向的重要研究課題之一，在很多領(lǐng)域得到了廣泛的應(yīng)用，主要包括移動(dòng)機(jī)器人、圖像信息檢索、智能監(jiān)控、智能家居等，有十分重要的研究意義以及應(yīng)用價(jià)值。而相較于室外場(chǎng)景，室內(nèi)場(chǎng)景因其復(fù)雜的結(jié)構(gòu)和種類(lèi)繁多的內(nèi)部物品等問(wèn)題，使得研究工作相對(duì)進(jìn)展較慢，且更具挑戰(zhàn)性。
　　本文針對(duì)室內(nèi)場(chǎng)景，從場(chǎng)景類(lèi)別、目標(biāo)檢測(cè)以及空間布局估計(jì)三個(gè)方面對(duì)圖像場(chǎng)景進(jìn)行深入理解，提出了對(duì)三項(xiàng)工作進(jìn)行有機(jī)結(jié)合的方法，利用彼此間的相互作用，而不是單純地分

2、別進(jìn)行三個(gè)獨(dú)立工作，并且進(jìn)行了大量的實(shí)驗(yàn)，與眾多方法進(jìn)行了對(duì)比分析，結(jié)果證明了本文方法的有效性。本文的主要研究工作如下:
　　(1)基于卷積神經(jīng)網(wǎng)絡(luò)，提出了結(jié)合語(yǔ)義上下文信息的場(chǎng)景分類(lèi)方法。對(duì)于場(chǎng)景級(jí)別的任務(wù)，場(chǎng)景復(fù)雜多樣，需要大量的訓(xùn)練數(shù)據(jù)。而利用圖像的語(yǔ)義上下文信息，即特定場(chǎng)景與目標(biāo)總是同時(shí)出現(xiàn)的，將其轉(zhuǎn)化為目標(biāo)級(jí)別的任務(wù)，可以降低對(duì)海量訓(xùn)練數(shù)據(jù)的依賴(lài)。將卷積神經(jīng)網(wǎng)絡(luò)提取的特征取代傳統(tǒng)的人工特征，與語(yǔ)義特征相融合，實(shí)現(xiàn)場(chǎng)景的分

3、類(lèi)。實(shí)驗(yàn)結(jié)果表明，該分類(lèi)方法在較小的訓(xùn)練集上仍有很好的表現(xiàn)。
　　(2)在傳統(tǒng)的基于幾何上下文的布局估計(jì)方法上，結(jié)合了信息邊緣。將由全卷積神經(jīng)網(wǎng)絡(luò)得到的信息邊緣作為先驗(yàn)條件，對(duì)于場(chǎng)景布局精細(xì)化劃分，基于信息邊緣，減少了對(duì)通過(guò)采樣頻率來(lái)提高采樣精度的依賴(lài)，避免了“雜亂”邊緣的影響，在幾何上下文避免遮擋問(wèn)題的基礎(chǔ)上，提高了布局估計(jì)的準(zhǔn)確率;同時(shí)減少了對(duì)候選項(xiàng)進(jìn)行得分排序的工作量。
　　(3)除了利用上述2D空間中的信息，還通過(guò)建