基于高階CRFs和稀疏字典學(xué)習(xí)的場景語義解析.pdf

1、圖像語義標(biāo)注作為場景理解中的一個基本問題，已成為計算機視覺領(lǐng)域研究的熱點；并廣泛應(yīng)用于探險搜索、自動導(dǎo)航、安全防護(hù)、醫(yī)療護(hù)理等領(lǐng)域，具有重要的學(xué)術(shù)研究和工程應(yīng)用價值。于是，本文設(shè)計了一種基于高階條件隨機場(CRFs)和稀疏字典學(xué)習(xí)的場景語義標(biāo)注框架。首先，利用融合深度的多尺度分層過分割法獲得場景的超像素區(qū)域；接著，利用融合區(qū)域級多模態(tài)感知線索特征的二階CRFs模型，實現(xiàn)基于自底向上區(qū)域級表達(dá)的圖像場景標(biāo)注；然后，利用不同類別統(tǒng)計先驗約束

2、判別性視覺特征的稀疏字典表示，構(gòu)成基于判別性稀疏字典學(xué)習(xí)的高階CRFs模型，實現(xiàn)基于自頂向下語義類別判別成本約束的場景語義標(biāo)注。
　　針對目前快速的非監(jiān)督過分割方法在復(fù)雜場景中難于獲得與目標(biāo)物體的一致性邊緣，本文提出采用基于多源感知多尺度組合成組的全局概率邊緣超度量圖(gpb-ucm)分層方法進(jìn)行過分割待標(biāo)注的RGB-D場景。首先，利用場景中圖像色彩、紋理及深度等感知線索，基于gpb-ucm分割法進(jìn)行多尺度分層過分割得到不同尺度下

3、的過分割區(qū)域圖；然后，基于投影變換配準(zhǔn)每個尺度的過分割區(qū)域圖；最后，融合合并各個尺度配準(zhǔn)下的過分割區(qū)域的邊緣權(quán)值，以實現(xiàn)合成最終的分層分割區(qū)域圖。NYU Depth V2數(shù)據(jù)集上實驗表明，基于深度信息和多尺度融合改進(jìn)過分割法，能提升劃分待解析場景超像素區(qū)域的目標(biāo)物體邊緣性能，為后續(xù)基于以超像素分割區(qū)域為節(jié)點的概率圖模型的語義標(biāo)注框架提供緊湊且可靠的場景結(jié)構(gòu)表達(dá)。
　　鑒于傳統(tǒng)場景語義標(biāo)注方案中單一模態(tài)局部特征的表達(dá)能力欠佳和局部特

4、征信息難于捕獲上下文語義標(biāo)簽之間有效依賴的問題，本文提出一種基于自底向上多模態(tài)特征融合的二階CRFs模型建模場景上下文關(guān)系的圖像語義標(biāo)注方法。首先，以即得場景過分割區(qū)域為節(jié)點，分別提取并歸一化以顏色驅(qū)動的核描述子外觀特征和以深度驅(qū)動的HHA幾何特征。接著，拼接各個超像素區(qū)域節(jié)點即得的歸一化多模態(tài)視覺特征向量；利用支持向量機(SVM)分類器判別超像素區(qū)域相應(yīng)的語義類別得分作為該CRFs模型中各節(jié)點的一元項勢能；以相鄰超像素過分割區(qū)域中LU

5、V空間色彩特征差異為該CRFs模型中鄰域邊的成對項勢能，自底向上構(gòu)建待解析場景區(qū)域級表示的概率圖模型。然后，在結(jié)構(gòu)化支持向量機框架SSVM下，最小化訓(xùn)練集中基準(zhǔn)標(biāo)注圖與基于該CRFs推斷的標(biāo)注圖之間的誤差，基于BCFW(Block Coordinate Frank-Wolfe)優(yōu)化方法學(xué)習(xí)該二階CRFs模型參數(shù)。最后，給定CRFs模型和測試圖像時，在最大化后驗概率MAP框架下，基于圖分割方法推斷待解析場景的語義標(biāo)注結(jié)果。NYU Dept

6、h V2數(shù)據(jù)集上的實驗表明，基于深度信息和多模態(tài)特征融合的二階CRFs模型標(biāo)注框架，能解析推斷出視覺表現(xiàn)力更強、標(biāo)注準(zhǔn)確率更高的語義標(biāo)注圖。
　　為了克服場景標(biāo)注中局部上下文信息難以捕獲長距離超像素區(qū)域視覺表達(dá)和目標(biāo)對象之間的相互依賴關(guān)系的問題，本文提出一種基于自頂向下判別性稀疏字典學(xué)習(xí)高階條件隨機場模型的圖像標(biāo)注方法。首先，按照每個不同語義類別，分別提取相應(yīng)過分割區(qū)域中的視覺特征；采用字典學(xué)習(xí)方法稀疏編碼每個類別的視覺特征，以初

7、始化各個特定類別的相應(yīng)稀疏字典；在上述二階CRFs模型標(biāo)注基礎(chǔ)上，引入每一語義類的稀疏編碼子直方圖高階約束成本，構(gòu)建基于自頂向下高階CRFs的標(biāo)注模型。然后，在結(jié)構(gòu)化支持向量機框架SSVM下，最小化訓(xùn)練集中基準(zhǔn)標(biāo)注圖與高階CRFs模型推斷的標(biāo)注圖之間的誤差過程中，先固定高階CRFs模型參數(shù)基于梯度下降法遞進(jìn)式學(xué)習(xí)相應(yīng)稀疏字典表示；后固定稀疏字典基于BCFW優(yōu)化方法進(jìn)行交替式學(xué)習(xí)高階CRFs模型參數(shù)。最后，給定高階CRFs模型和測試圖像時