基于上下文的圖像標(biāo)注研究.pdf

1、計(jì)算視覺(jué)中一個(gè)基本的任務(wù)是通過(guò)統(tǒng)計(jì)建模來(lái)預(yù)測(cè)靜態(tài)圖像中的未知特性。如果圖像中的這些未知特性能夠被描述成一系列離散的隨機(jī)變量,那么對(duì)應(yīng)的視覺(jué)問(wèn)題就可以歸結(jié)為圖像標(biāo)注或者圖像理解。由于自然圖像中的物體存在大量的類(lèi)內(nèi)和類(lèi)間差異,導(dǎo)致計(jì)算機(jī)視覺(jué)中的圖像理解和標(biāo)注成為一個(gè)非常具有挑戰(zhàn)性的任務(wù)。最主要的挑戰(zhàn)和困難集中在以下三個(gè)方面:1)自然圖像中存在的各種復(fù)雜視覺(jué)模式,如何對(duì)其進(jìn)行建模是首先需要研究的問(wèn)題;2)對(duì)不同類(lèi)別的物體如何學(xué)習(xí)得到最有判別力

2、的特征以及對(duì)模型參數(shù)進(jìn)行估計(jì)是第二個(gè)需要研究的問(wèn)題;3)在給定的學(xué)習(xí)模型下,如何通過(guò)優(yōu)化算法計(jì)算得到最優(yōu)解。本論文基于統(tǒng)計(jì)學(xué)的理論,對(duì)場(chǎng)景標(biāo)注與理解進(jìn)行建模、學(xué)習(xí)和推理,重點(diǎn)研究了計(jì)算機(jī)視覺(jué)中的以下問(wèn)題:1)如何有效地對(duì)圖像中有明顯紋理特性和結(jié)構(gòu)特性的物體進(jìn)行建模?2)什么樣的上下文信息能夠有效的表達(dá)圖像中各類(lèi)物體之間的相互關(guān)系?3)如何從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到圖像的模型以及對(duì)圖像上下文信息的表達(dá)?4)如何設(shè)計(jì)一種快速的推理算法得到最終的圖

3、像標(biāo)注結(jié)果,并同時(shí)保證得到的結(jié)果是解空間中的全局最優(yōu)解?5)圖像標(biāo)注與物體識(shí)別之間存在怎樣的關(guān)系?
　　本文的工作緊緊圍繞場(chǎng)景標(biāo)注與理解這一核心命題展開(kāi)。為回答以上提出的問(wèn)題,從以下四個(gè)方面展開(kāi)研究:
　　(1)一般而言,圖像中的底層信息(如紋理和顏色)也可以用來(lái)識(shí)別物體類(lèi)別(如水、天空和樹(shù)木等)。作為中層視覺(jué)的主要特性,形狀信息對(duì)于自然場(chǎng)景中包含的結(jié)構(gòu)類(lèi)物體(如馬、牛和車(chē)等)而言是一種非常魯棒的表達(dá)方式?；谛螤钅０鍖?duì)圖像

4、對(duì)應(yīng)的區(qū)域進(jìn)行語(yǔ)義分割不僅能夠約束對(duì)應(yīng)的像素具有一致的語(yǔ)義標(biāo)簽,還能提高對(duì)抗噪聲的魯棒性。除此之外,圖像中的上下文信息可進(jìn)一步提高標(biāo)注系統(tǒng)的性能。這類(lèi)信息往往約束高層語(yǔ)義之間的共生關(guān)系和約束關(guān)系。因此,本文設(shè)計(jì)了一種有效,靈活和魯棒的概率標(biāo)注模型――動(dòng)態(tài)混合馬爾科夫隨機(jī)場(chǎng)模型,結(jié)合不同層次上的圖像特征。這些特征彼此約束,互為補(bǔ)充,以達(dá)到對(duì)輸入圖像產(chǎn)生一致性標(biāo)注輸出的結(jié)果。
　　(2)眾所周知,圖像中不同類(lèi)別的物體往往具有不一致的特

5、征屬性。即使是使用不同圖像特征來(lái)建模物體,這些特征在物體的識(shí)別過(guò)程中往往具有不同的重要程度,即判別力的高低。本文提出一種自動(dòng)的學(xué)習(xí)算法能夠區(qū)分不同特征的重要性,并且在建立物體模型的過(guò)程中優(yōu)先選取判別力高的特征。與此同時(shí),通過(guò)更新模型中特征的權(quán)重系數(shù)使得當(dāng)前模型與真實(shí)模型具有相同的邊緣分布。隨著一系列特征的引入與相應(yīng)特征系數(shù)的更新,使得學(xué)習(xí)得到的模型逼近每類(lèi)物體的真實(shí)分布。
　　(3)學(xué)習(xí)場(chǎng)景標(biāo)注模型一般通過(guò)離線學(xué)習(xí)的方式,而用學(xué)習(xí)

6、得到的模型來(lái)推理得到場(chǎng)景標(biāo)注的結(jié)果一般使用在線推理的方式。這需要設(shè)計(jì)高效的推理算法,既能夠滿足大尺度數(shù)據(jù)集標(biāo)注的需要,也能滿足實(shí)際標(biāo)注系統(tǒng)的應(yīng)用需求。本文在動(dòng)態(tài)混合馬爾科夫隨機(jī)場(chǎng)模型的基礎(chǔ)上,設(shè)計(jì)了一種高效的推理算法――組合采樣算法。除此之外,本文還證明了在保證獲得很好的標(biāo)注性能的前提下,組合采樣算法能夠收斂到全局最優(yōu)解,即對(duì)應(yīng)后驗(yàn)概率最大的標(biāo)注結(jié)果。
　　(4)上下文特征不僅僅用于約束圖像標(biāo)記之間的共生關(guān)系和約束關(guān)系,還具有多尺