基于視覺和語義信息的圖像標(biāo)注方法研究.pdf

1、近年來，各種存儲(chǔ)媒介中產(chǎn)生的海量圖像在極大的豐富人們視覺生活的同時(shí)，也為圖像的管理帶來了許多的不便。由于大部分的圖像是通過數(shù)碼產(chǎn)品拍攝，通常只是具有簡(jiǎn)單的數(shù)字序列名稱或者英文與數(shù)字混排的名稱，不能充分反映圖像的視覺內(nèi)容，使用傳統(tǒng)的TBIR方式也很難在海量圖像中獲取指定的目標(biāo)圖像。因此，對(duì)圖像實(shí)行自動(dòng)標(biāo)注，使圖像名稱能夠真實(shí)反映視覺內(nèi)容的AIA研究工作顯得格外重要。自動(dòng)圖像標(biāo)注方法研究在圖像管理、圖像檢索和圖像理解等領(lǐng)域都具有重要意義，目

2、前已成為新的熱點(diǎn)研究課題。
　　 通過了解目前各類圖像標(biāo)注模型思想，以基于場(chǎng)景語義的pLSA-GMM標(biāo)注方法為基礎(chǔ)開展研究，構(gòu)造了一種結(jié)合語義信息和視覺信息的AIA-SSBTM模型，并通過該模型將標(biāo)注字賦予未知圖像。
　　 AIA-SSBTM模型將標(biāo)注分為訓(xùn)練和標(biāo)注兩個(gè)階段。在訓(xùn)練階段，模型對(duì)訓(xùn)練數(shù)據(jù)集在語義層進(jìn)行場(chǎng)景分類，并對(duì)每個(gè)場(chǎng)景在視覺層進(jìn)行二叉樹的構(gòu)造，分別得到語義層數(shù)據(jù)集和視覺層數(shù)據(jù)集，在標(biāo)注階段，模型首先判定

3、未知圖像的歸屬類別，然后使用該類別的二叉樹模型和對(duì)應(yīng)的方法完成標(biāo)注。
　　 本文模型利用圖像之間的相似性將不同類別的場(chǎng)景圖像構(gòu)成圖結(jié)構(gòu)，然后使用Ncut方法進(jìn)行二叉樹構(gòu)造，圖像之間的相似性度量也是本文的主要研究問題。通過對(duì)圖像分別在底層視覺特征和高層語義信息進(jìn)行相似性度量的利弊分析，設(shè)計(jì)了一種結(jié)合視覺特征和對(duì)象語義的聯(lián)合相似性度量方法，并將其應(yīng)用在AIA-SSBTM的模型構(gòu)造中，通過結(jié)合EMD方法和TF-IDF方法的聯(lián)合相似性度