基于深層結(jié)構(gòu)的圖像內(nèi)容分析及其應(yīng)用.pdf

1、賦予計算機以人類視覺能力的長期夢想,加上近年來圖像數(shù)據(jù)爆炸式增長帶來的圖像管理、檢索等相關(guān)應(yīng)用的迫切需求,使得圖像內(nèi)容分析成為了視覺研究的熱門課題。圖像特征是進行圖像內(nèi)容分析的基礎(chǔ),本質(zhì)上圖像特征是對圖像中某些結(jié)構(gòu)表觀特性的總結(jié),如顏色直方圖是對像素顏色特征的總結(jié),詞袋模型是對圖像塊局部紋理特征的總結(jié)。然而圖像中結(jié)構(gòu)的總數(shù)極其龐大,如何從中選擇一個有效子集提取圖像特征是圖像內(nèi)容分析研究的重點?，F(xiàn)階段的圖像特征主要基于圖像中的淺層結(jié)構(gòu)（像

2、素、角點、斑點等）進行提取,淺層結(jié)構(gòu)變化范圍有限,一般可以利用人工制定規(guī)則的方法進行檢測,但與語義信息關(guān)聯(lián)較弱,這也造成了基于淺層結(jié)構(gòu)的圖像特征和高層語義概念之間的語義鴻溝問題。相對于淺層結(jié)構(gòu)的深層結(jié)構(gòu)一般是帶有較強語義的局部圖像區(qū)域（如人臉、車輪、馬腿等）,便于在語義層面進行圖像內(nèi)容分析。但深層結(jié)構(gòu)存在著復(fù)雜的內(nèi)在變化,一般無法通過人工制定規(guī)則的方法進行檢測,往往需要借助于大量精細標(biāo)注的訓(xùn)練數(shù)據(jù)學(xué)習(xí)深層結(jié)構(gòu)模型進行檢測,而直接通過人工

3、標(biāo)注這類數(shù)據(jù)極其耗時耗力,限制了其在實際中的應(yīng)用。本文針對在少量監(jiān)督信息情況下學(xué)習(xí)深層結(jié)構(gòu)模型的問題提出了一些初步的解決方法,并基于提取的深層結(jié)構(gòu)進行圖像內(nèi)容分析,在相關(guān)具體應(yīng)用中驗證了其有效性。本文的主要工作歸納如下:
　　 1.利用某些類別之間存在著相似深層結(jié)構(gòu)的事實,提出了一種增量式深層結(jié)構(gòu)模型學(xué)習(xí)算法。在學(xué)習(xí)新類別的深層結(jié)構(gòu)模型時,借助于一些已有類別的深層結(jié)構(gòu)模型作為輔助信息,在少量訓(xùn)練樣本情況下學(xué)得該類別的深層結(jié)構(gòu)模型

4、。
　　 2.基于社交網(wǎng)站上用戶提供的帶標(biāo)簽的圖像集,提出了一種惰性多示例學(xué)習(xí)算法進行深層結(jié)構(gòu)提取。該算法將圖像的標(biāo)簽傳遞到深層結(jié)構(gòu),并根據(jù)每個標(biāo)簽所對應(yīng)深層結(jié)構(gòu)的視覺屬性來詳細化該標(biāo)簽的描述,從而生成圖像更詳細的描述。
　　 3.提出了一種語義特征點檢測器直接檢測圖像中語義表征力強的圖像塊,語義特征點檢測器本質(zhì)上是對圖像塊按語義強弱進行劃分的分類器。為了解決直接按語義強弱標(biāo)注大量圖像塊的困難,提出了一種基于弱監(jiān)督信息的

5、學(xué)習(xí)算法獲取大量類別的強語義圖像塊,并根據(jù)這些強語義圖像塊對圖像塊空間中語義區(qū)域進行劃分產(chǎn)生語義特征點檢測器。
　　 4.提出了一種基于多層學(xué)習(xí)獲取部位模型的算法,第一層用基于圖像塊的圖像表示用僅有圖像層標(biāo)注訓(xùn)練數(shù)據(jù)的學(xué)習(xí)圖像分類器,用圖像分類器自動對圖像進行詳細標(biāo)注生成與類別相關(guān)區(qū)域,作為第二層學(xué)習(xí)的訓(xùn)練樣本。第二層通過密集匹配定義的相似性度量和聚類算法無監(jiān)督地定義部位及它們的正例樣本,并學(xué)習(xí)各部位的初始模型啟動隱變量支持向量