圖像語(yǔ)義標(biāo)注與檢索方法研究.pdf

1、隨著互聯(lián)網(wǎng)和多媒體技術(shù)的快速發(fā)展，可以預(yù)見(jiàn)在未來(lái)，圖像等多媒體數(shù)據(jù)將繼續(xù)爆炸性增長(zhǎng)。迄今為止，現(xiàn)代化的信息采集手段已不再局限于用精煉的文本或者屬性關(guān)鍵詞來(lái)概括目標(biāo)事物的特性，更有可能通過(guò)圖像等多媒體手段對(duì)其進(jìn)行原始而直觀的描述，從而減少信息的損失。因此，面對(duì)海量的圖像等媒體內(nèi)容，如何有效地進(jìn)行智能化管理變得尤為重要，也成為當(dāng)今一個(gè)重要的研究?jī)?nèi)容。
　　圖像自動(dòng)語(yǔ)義標(biāo)注方法是圖像智能化管理的一個(gè)重要體現(xiàn)，它試圖在圖像的高層語(yǔ)義信息和

2、低層特征之間建立一種映射關(guān)系，于是緩解了“語(yǔ)義鴻溝”的問(wèn)題，進(jìn)而可以把圖像檢索問(wèn)題轉(zhuǎn)化為成熟的文本檢索問(wèn)題。傳統(tǒng)的標(biāo)注方法考慮了如何建立圖像低層視覺(jué)特征與高層語(yǔ)義概念之間的映射，在語(yǔ)義關(guān)聯(lián)方面還存在諸多未得到很好解決的問(wèn)題。很多方法僅在平衡的語(yǔ)義概念小字典上完成，然而這種約束未必能夠在真實(shí)數(shù)據(jù)集上得到滿足。為了克服這個(gè)局限性，文中設(shè)計(jì)了一個(gè)基于隱馬爾可夫模型的圖像自動(dòng)標(biāo)注方法IAMM，該方法把圖像標(biāo)注過(guò)程看作是檢索有相互關(guān)聯(lián)的隱藏語(yǔ)義概

3、念序列的過(guò)程，通過(guò)同時(shí)考慮視覺(jué)內(nèi)容和語(yǔ)義關(guān)聯(lián)來(lái)檢索出未標(biāo)注圖像的合理隱藏語(yǔ)義概念序列。在IAMM方法里，全部隱藏語(yǔ)義概念可以構(gòu)成一條一階馬爾可夫鏈，兩個(gè)隱藏語(yǔ)義概念之間的邊權(quán)重代表它們的語(yǔ)義關(guān)聯(lián)性?？紤]到圖像語(yǔ)義概念分布的不平衡特性，在計(jì)算發(fā)射概率和轉(zhuǎn)移概率兩個(gè)子過(guò)程中，語(yǔ)義概念的權(quán)重基于訓(xùn)練數(shù)據(jù)分別通過(guò)梯度下降方法和迭代方法獲得。實(shí)驗(yàn)結(jié)果表明該隱藏語(yǔ)義序列較好反映了圖像的內(nèi)容。
　　一些圖像標(biāo)注方法考慮利用語(yǔ)義關(guān)聯(lián)來(lái)提高圖像語(yǔ)義

4、標(biāo)注的效果，其抽取的語(yǔ)義或者是基于本地圖像數(shù)據(jù)集的局部語(yǔ)義，或者是基于互聯(lián)網(wǎng)海量數(shù)據(jù)集的全局語(yǔ)義。但是，在真實(shí)數(shù)據(jù)環(huán)境下，語(yǔ)義概念的分布通常是不均衡的，存在大量的稀疏語(yǔ)義概念，這導(dǎo)致抽取的局部語(yǔ)義存在“失真”現(xiàn)象。而對(duì)于全局語(yǔ)義，其抽取語(yǔ)義的數(shù)據(jù)集通常是獨(dú)立于本地圖像集的外來(lái)異質(zhì)數(shù)據(jù)集，所以該全局語(yǔ)義并未完全反映本地圖像庫(kù)的語(yǔ)義特性。為了合理地抽取語(yǔ)義，文中構(gòu)造了一種基于局部語(yǔ)義 與全局語(yǔ)義聯(lián)合學(xué)習(xí)的概念依賴網(wǎng)絡(luò)CIN，該網(wǎng)絡(luò)既反映了通

5、用的語(yǔ)義依賴，又反映了本地圖像的語(yǔ)義特性。對(duì)一個(gè)語(yǔ)義概念而言，當(dāng)來(lái)自于CIN的強(qiáng)依賴概念集以較強(qiáng)的視覺(jué)證據(jù)出現(xiàn)于未標(biāo)注圖像中時(shí)，圖像標(biāo)注方法考慮提高該語(yǔ)義概念的預(yù)測(cè)概率。
　　體現(xiàn)圖像數(shù)據(jù)智能化管理的另一項(xiàng)技術(shù)是圖像的語(yǔ)義檢索，它包含了人們對(duì)圖像內(nèi)容的理解，讓計(jì)算機(jī)按照人們的主觀意識(shí)與理解來(lái)檢索圖像，從而可以最大程度地滿足用戶的檢索需求。傳統(tǒng)的研究工作主要關(guān)注單概念圖像檢索方法，這部分限定了其實(shí)際可用性。為了執(zhí)行多概念圖像檢索，傳

6、統(tǒng)方法使用單概念檢測(cè)器來(lái)執(zhí)行多概念檢索，但是，語(yǔ)義多概念檢索項(xiàng)所構(gòu)成的視覺(jué)場(chǎng)景具有獨(dú)有的視覺(jué)特性，僅使用傳統(tǒng)的單概念檢測(cè)器往往不大奏效，MCRM方法考慮構(gòu)建并使用多概念檢測(cè)器，它把一個(gè)語(yǔ)義多概念當(dāng)做一個(gè)有語(yǔ)境的整體，而直接從重新整理的多概念訓(xùn)練集中學(xué)習(xí)出來(lái)。同時(shí)，傳統(tǒng)的單概念檢測(cè)器可以較好地檢測(cè)單個(gè)語(yǔ)義概念，MCRM方法考慮了這兩者的概率結(jié)合以提高多概念圖像檢索的效果。為了衡量?jī)蓚€(gè)語(yǔ)義場(chǎng)景多概念間的語(yǔ)義依賴，MCRM檢索方法提出了三種估

7、算語(yǔ)義依賴概率的方法，而一個(gè)語(yǔ)義多概念是否存在于圖像中的視覺(jué)證據(jù)被貝葉斯規(guī)則轉(zhuǎn)換后交由支持向量機(jī)去概率估算。
　　在Web 2.0/3.0時(shí)代下，Web圖像數(shù)據(jù)往往伴隨著相關(guān)聯(lián)的社會(huì)化文本標(biāo)簽數(shù)據(jù)，圖像與文本雙模態(tài)數(shù)據(jù)可以提供互補(bǔ)的信息，因此文中提出了一個(gè)用于多概念圖像檢索任務(wù)的圖像與文本雙模態(tài)關(guān)聯(lián)學(xué)習(xí)方法（BLMQ），該方法對(duì)于視覺(jué)模態(tài)、語(yǔ)義依賴以及文本模態(tài)三者建立了關(guān)聯(lián)，因此，獲得了更好的雙模態(tài)多概念圖像檢索效果。此外，對(duì)于傳