基于嵌入結(jié)構(gòu)性信息視覺特征的圖像理解模型研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和移動互聯(lián)網(wǎng)的興起，大量的多媒體信息特別是圖像被上傳到互聯(lián)網(wǎng)上并且數(shù)目仍在不斷的增加，這些信息將人們帶入了圖片大數(shù)據(jù)時代。為了挖掘海量圖像數(shù)據(jù)中的有效信息及其中所蘊含的經(jīng)濟和社會價值，涉及到與圖像相關(guān)的諸多技術(shù)，圖像理解是其中較重要的一環(huán)。傳統(tǒng)的用于圖像理解的方法主要是基于詞袋模型，即首先提取圖像的底層特征表示，然后構(gòu)建一個編碼詞典，最后將圖像底層特征依據(jù)編碼詞典進行映射得到圖像的直方圖特征表示。雖然該方法廣泛應(yīng)用于

2、圖像理解的相關(guān)方向如圖像中的物體識別和圖像檢索，并取得了一定的效果，但是基于詞袋模型的表示方法會將圖像中蘊含的結(jié)構(gòu)信息丟失，導(dǎo)致圖像特征表示的辨別性和魯棒性存在一定的局限性。
　　區(qū)別于基于詞袋模型的圖像特征表示方法，本論文提出了一種新的構(gòu)建圖像特征表示的方法，該方法將與圖像相關(guān)的結(jié)構(gòu)信息融合到圖像的特征表示中，以此來提高圖像特征表示的辨別性和魯棒性。本論文提出了三種不同形式的結(jié)構(gòu)信息的嵌入視覺特征表示方法，并將其分別應(yīng)用于圖像理

3、解領(lǐng)域中的圖像檢索，圖像分類和圖像語義標注中。
　　第一種方法是在基于輪廓圖像的圖像檢索和分類的應(yīng)用中，不同于傳統(tǒng)的方法直接提取輪廓圖像的特征點并構(gòu)建特征描述符，在本論文中，提出了將輪廓圖像所描述的物體的本身所具有的結(jié)構(gòu)對稱性嵌入到圖像的視覺特征表示中，從而構(gòu)建出包含物體對稱結(jié)構(gòu)的圖像視覺特征表示。該特征表示能夠有效的提高特征描述符的辨別性和魯棒性。在實驗中，將該嵌入對稱結(jié)構(gòu)的視覺特征表示應(yīng)用于輪廓圖像的分類和檢索上，實驗結(jié)果表明

4、該方法能夠有效的提高輪廓圖像的檢索和分類的準確度證明了結(jié)構(gòu)信息嵌入特征表示中的有效性。
　　第二種方法是在基于視覺屬性的圖像檢索的應(yīng)用中，不同于傳統(tǒng)的方法僅考慮視覺屬性查詢詞與其他相關(guān)視覺屬性之間的共存性，在本論文提出的方法中，首先將視覺屬性結(jié)構(gòu)之間的互斥和共存性嵌入到視覺屬性的特征表達之中。然后利用該嵌入結(jié)構(gòu)信息的圖像特征表示，提出了一種基于特征重建的圖像檢索框架，該框架能夠有效的保留圖像的結(jié)構(gòu)特征從而能夠有效的提高圖像檢索的穩(wěn)

5、定性和魯棒性。實驗結(jié)果證明該方法能夠有效的降低查詢關(guān)鍵詞的歧義性，提高圖像檢索的準確度。
　　第三種方法是在基于弱監(jiān)督的圖像標注的應(yīng)用中，由于圖像中包含有多個物體，因此傳統(tǒng)的基于詞袋的特征表示方法具有歧義性，進而無法表示圖像中不同物體之間的結(jié)構(gòu)關(guān)系，最后使得圖像標注結(jié)果的不準確。本論文提出一種將語義標簽的結(jié)構(gòu)相關(guān)性信息嵌入到圖像特征表示之中的方法，從而克服原始特征表示存在的歧義性。實驗結(jié)果表明該嵌入語義標簽的結(jié)構(gòu)性特征表示能夠有效

6、的提高圖像特征表示的辨別性和泛化能力，進行能夠推動圖像標注的查全性和準確率的提升。
　　本論文為了驗證視覺特征的結(jié)構(gòu)性在圖像理解中的作用，考慮到不同的應(yīng)用場景下圖像特征中嵌入不同層次的結(jié)構(gòu)性信息：底層信息中的物體本身的對稱結(jié)構(gòu)，中層特征信息中的視覺屬性的相關(guān)性結(jié)構(gòu)以及高層物體標簽信息之間的語義結(jié)構(gòu)。通過不同的實驗結(jié)果證明本文所提出的嵌入結(jié)構(gòu)性信息的視覺特征表示能夠有效的提高特征表示的辨別性和魯棒性，同時實驗結(jié)果也表明了嵌入結(jié)構(gòu)性信