結(jié)合全局觀測值的圖像區(qū)域語義自動標(biāo)注研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和社交網(wǎng)站的廣泛應(yīng)用，互聯(lián)網(wǎng)上的圖像和視頻的數(shù)量以前所未有的速度增長。與文字相比，圖像往往包含了更為豐富的信息，因此對于圖像信息的挖掘和探索一直是計算機科學(xué)研究的一個重要的課題。為了在海量的圖像里進行有效地檢索和管理，圖像一般都被標(biāo)注了語義標(biāo)簽。圖像自動標(biāo)注研究(Automatic Image Annotation，AIA)是研究如何自動地根據(jù)圖像的內(nèi)容，將與其相關(guān)的語義標(biāo)簽賦給圖像。在過去幾年的研究中，很多與圖

2、像自動標(biāo)注相關(guān)的方法被提出，并取得了很大的進展。然而，圖像標(biāo)注僅僅是標(biāo)注了相關(guān)的物體是否在圖像里出現(xiàn)，并沒有具體地標(biāo)明物體出現(xiàn)在圖像當(dāng)中的位置。因此，對圖像的像素或區(qū)域進行語義標(biāo)注的研究吸引了學(xué)術(shù)界越來越多的關(guān)注。
　　圖像區(qū)域的自動標(biāo)注就是根據(jù)圖像區(qū)域的視覺內(nèi)容，將一個與其相關(guān)的語義標(biāo)簽賦給它。一個有效的方法是在對圖像區(qū)域進行標(biāo)注的時候利用空間上下文信息，即考察相鄰區(qū)域的標(biāo)簽和視覺內(nèi)容。通常情況下，相鄰的圖像區(qū)域或像素往往具有相

3、同的語義標(biāo)簽，這被稱作“標(biāo)簽平滑性”。利用圖像區(qū)域在空間上的平滑性，圖像區(qū)域標(biāo)注的效果有了明顯的提升。但是，圖像的局部區(qū)域通常具有有限和模糊的視覺內(nèi)容。與圖像的區(qū)域相比，圖像整體的觀測信息具有更為豐富和清晰的觀測信息，這被稱作“全局觀測值”。對于圖像的局部觀測值來說，圖像的全局觀測值是一個有效的補充。
　　本文提出了一個基于條件隨機場（Conditional Random Fields，CRF）的標(biāo)注模型，結(jié)合圖像局部觀測值和全局

4、觀測值，同時將語義上下文建模融合到模型當(dāng)中，通過利用不同尺度的圖像觀測信息和語義標(biāo)簽之間的相關(guān)關(guān)系來提高標(biāo)注的效果。條件隨機場能夠有效地利用圖像局部的觀測信息，圖像全局觀測值的引入則是對局部觀測值一個有效的補充，彌補了圖像局部的視覺信息的不足。在圖像當(dāng)中，很多語義標(biāo)簽往往會同時出現(xiàn)，這些語義標(biāo)簽具有相關(guān)性。圖像標(biāo)注的相關(guān)研究表明，語義上下文關(guān)系的利用能有效地提高圖像標(biāo)注的效果。在引入圖像全局觀測的同時，我們也對圖像級別語義上下文關(guān)系進行

5、建模，進一步提高對圖像全局觀測值的挖掘利用效果。在條件隨機場框架下，圖像局部觀測值和全局觀測值的參數(shù)能夠通過標(biāo)準(zhǔn)參數(shù)學(xué)習(xí)方法得到。
　　我們在兩個公用數(shù)據(jù)集——MSRC數(shù)據(jù)集和Corel數(shù)據(jù)集——上進行了系統(tǒng)的實驗，驗證了本文提出的條件隨機場(CRF)模型的標(biāo)注性能。從實驗的結(jié)果可以看出，本文提出的模型比目前較先進的標(biāo)注模型在標(biāo)注準(zhǔn)確性上有了明顯地提高。實驗證明了模型的性能提升來自與局部觀測值和全局觀測值的結(jié)合.，而不是來某一種單