結(jié)構(gòu)化語義描述和特征選擇在圖像語義理解中的研究與應(yīng)用.pdf

1、近幾年來,隨著社交媒體以及手持電子拍照設(shè)備的迅速發(fā)展,互聯(lián)網(wǎng)上的圖像以驚人的速度增長著,這無疑給圖像理解帶來了新的挑戰(zhàn)。如何高效,準(zhǔn)確的理解這些圖片成了計算機(jī)視覺領(lǐng)域的一個熱點(diǎn)問題。本文將從兩方面入手對圖像理解進(jìn)行研究與分析:1),研究基于語義團(tuán)的高層圖像描述方法,該方法可以編碼物體之間的高階依賴關(guān)系,進(jìn)而可以有效的提高場景分類的準(zhǔn)確率。2),研究基于高層語義的特征選擇模型,針對特定的語義場景,選擇最有判別力的底層特征子集,從而在物體識

2、別和場景分類中獲得更好的效果。
　　在方法1)中,本文提出了一個以物體團(tuán)作為屬性的圖片表示方法。相比于基于單個物體的描述,基于物體團(tuán)的描述符能包含更多地語義信息,這樣可以有效縮小語義鴻溝。在方法2)中,本文提出了兩個模型引導(dǎo)有監(jiān)督的結(jié)構(gòu)化稀疏的特征選擇:空間路徑編碼(SPC)和語義圖上的物體編碼(OCSG)。SPC是一個正則項,它用來編碼金字塔模型下得到的特征之間的空間關(guān)系。在SPC模型中,每一維的特征都被看成是一個有向無環(huán)圖中的

3、一個頂點(diǎn),特征間的空間關(guān)系被看成是帶權(quán)值的有向邊。這樣,有監(jiān)督的特征選擇的過程就可以直接形式化到最小代價路徑選擇問題。與其他目前最好的分類和識別方法相比,SPC模型取得最好的實(shí)驗(yàn)結(jié)果。在OCOG模型中,先對大量的帶標(biāo)簽的圖片進(jìn)行統(tǒng)計,并且計算物體之間的依賴度,得到先驗(yàn)知識。然后,用一個圖對物體間的語義關(guān)系建模。這個語義圖把每個物體看成是一個頂點(diǎn),物體之間的語義關(guān)系看成是帶權(quán)邊。由于把語義關(guān)系編碼到語義圖里邊,OCSG能夠自動的選擇出一個