面向圖像標(biāo)注的張量表示與語(yǔ)義建模方法研究.pdf

1、圖像標(biāo)注是圖像分析與理解的主要研究?jī)?nèi)容之一。隨著個(gè)人和網(wǎng)絡(luò)圖像資源的日益增長(zhǎng)，圖像標(biāo)注在幫助用戶查找感興趣圖像方面的作用也愈發(fā)突出。盡管圖像標(biāo)注對(duì)于人眼視覺(jué)而言幾乎是一件輕而易舉的事情，但在計(jì)算機(jī)視覺(jué)領(lǐng)域中卻是一件極具挑戰(zhàn)性的任務(wù)。這主要是因?yàn)槲覀儚某錾_(kāi)始就在熟悉和理解這復(fù)雜的視覺(jué)世界，其中所涉及到的海量數(shù)據(jù)和不斷進(jìn)化的人腦學(xué)習(xí)機(jī)制是計(jì)算機(jī)所無(wú)法比擬的。當(dāng)前，圖像標(biāo)注系統(tǒng)主要需處理好兩方面問(wèn)題：一是如何選擇合適的圖像表示方法，以能夠充

2、分表達(dá)圖像內(nèi)容的豐富特征信息；二是如何構(gòu)建合理的語(yǔ)義標(biāo)注模型，以實(shí)現(xiàn)接近人工標(biāo)注結(jié)果的精確標(biāo)注。針對(duì)以上問(wèn)題，論文分別從圖像的張量表示和語(yǔ)義建模兩方面對(duì)圖像標(biāo)注進(jìn)行深入研究。另外，結(jié)合網(wǎng)絡(luò)用戶對(duì)圖像標(biāo)注的實(shí)際需求，論文又具體研究了圖像標(biāo)注模型的個(gè)性化問(wèn)題和網(wǎng)絡(luò)圖像數(shù)據(jù)的標(biāo)簽修正問(wèn)題。
　　在圖像表示方面，從圖像的高階統(tǒng)計(jì)和結(jié)構(gòu)特性出發(fā)，深入研究了圖像的全局和局部張量表示方法。在圖像的全局張量表示上，結(jié)合圖像特征的非相關(guān)性和非負(fù)性，

3、論文分別提出了一種正則化約束下的非負(fù)張量表示（ Re gula r ized Nonnegative Tensor Representation，RNTR）方法和一種Laplacian正則化約束下的非相關(guān)張量表示（Laplacian Regularized Uncorrelated Tensor Representation， LRUTR）方法。為了研究不同全局特征對(duì)圖像語(yǔ)義建模的影響，論文又提出了一種圖正則化約束下的非負(fù)組稀疏（Gra

4、ph Regularized Nonnegative Group Sparsity， GRN GS）模型，并通過(guò)實(shí)驗(yàn)表明全局張量表示方法能夠較好地滿足語(yǔ)義建模對(duì)視覺(jué)特征的判別性需求。在圖像的局部張量表示上，論文提出了一種基于三階統(tǒng)計(jì)張量的區(qū)域描述方法，以便更好地表達(dá)圖像塊或分割區(qū)域的豐富內(nèi)容信息。理論分析和實(shí)驗(yàn)測(cè)試的結(jié)果表明該描述方法比區(qū)域協(xié)方差具有更強(qiáng)的語(yǔ)義區(qū)分能力。
　　在語(yǔ)義建模方面，根據(jù)圖像的全局和局部特征，分別對(duì)圖像標(biāo)注

5、中的主題模型、區(qū)域標(biāo)記以及層次化方法展開(kāi)了深入研究。在研究主題模型時(shí)，論文首先根據(jù)圖像的全局特征提出了一種擴(kuò)展隱Dirichlet分配（Extended Latent Dirichlet Allocation，ELDA）模型，并在此基礎(chǔ)上結(jié)合圖像語(yǔ)義的局部性提出了一種特定類(lèi)的高斯多項(xiàng)式隱Dirichlet分配（Class-Specific Gaussian-Multinomial Latent Dirichlet Allocation，

6、csGM-LDA）模型。該模型結(jié)合了主題模型和監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn)，能夠兼顧模型訓(xùn)練的判別性與模型應(yīng)用的推廣性。實(shí)驗(yàn)結(jié)果表明這種特定類(lèi)建模方法能夠顯著提高主題模型的標(biāo)注性能。在對(duì)圖像區(qū)域進(jìn)行語(yǔ)義建模時(shí)，論文提出了一種局部高階支持張量機(jī)（Local High-order Support Tensor Machine，LHSTM）模型。該模型直接以圖像區(qū)域的高階張量特征為輸入，并采用了壓縮表示的方法對(duì)不同張量特征進(jìn)行相似性度量。同時(shí)，結(jié)合圖像的上

7、下文信息，論文又提出了一種基于空間能量函數(shù)的模型（Spatial Energy Based Model，SEBM），用于優(yōu)化圖像區(qū)域標(biāo)記結(jié)果。通過(guò)實(shí)驗(yàn)比較不同圖像表示基礎(chǔ)上的標(biāo)注方法可知，基于區(qū)域標(biāo)記的方法往往能夠取得更好的標(biāo)注結(jié)果，這說(shuō)明了區(qū)域信息對(duì)圖像標(biāo)注有著非常重要的作用。此外，綜合考慮圖像的全局和局部特征，論文提出了一種多層次圖像標(biāo)注方法。為了減少不同層次上的語(yǔ)義混淆，該方法僅考慮圖像的場(chǎng)景層和目標(biāo)層信息，并通過(guò)條件隨機(jī)場(chǎng)（Co

8、nditional Random Field，CRF）模型實(shí)現(xiàn)不同語(yǔ)義層次的聯(lián)合建模。實(shí)驗(yàn)結(jié)果表明這種層次化方法能夠顯著提高圖像標(biāo)注的性能，而且所學(xué)到的層次化語(yǔ)義信息能夠更好地對(duì)圖像內(nèi)容進(jìn)行結(jié)構(gòu)性描述。
　　在個(gè)性化圖像標(biāo)注方面，利用基準(zhǔn)圖像數(shù)據(jù)庫(kù)與用戶圖像數(shù)據(jù)集的標(biāo)注信息，提出了一種特定類(lèi)的圖像標(biāo)注模型及其基礎(chǔ)上的個(gè)性化方法?？紤]到用戶的標(biāo)簽集是相對(duì)有限的且不同用戶對(duì)同一標(biāo)簽有著不同的理解，論文首先提出了一種特定類(lèi)的加權(quán)最近鄰（

9、Class-Specific Weighted Nearest Neighbor，cs-WNN）模型，用于實(shí)現(xiàn)基準(zhǔn)圖像數(shù)據(jù)庫(kù)的特定類(lèi)語(yǔ)義建模。該模型結(jié)合了多核與特定類(lèi)信息，顯著提高了模型效率。在此基礎(chǔ)上，論文又根據(jù)用戶圖像數(shù)據(jù)集的標(biāo)注信息提出了一種特定類(lèi)跨域?qū)W習(xí)（Class-Specific Cross-Domain Learning，cs-CDL）方法，以獲得用戶的個(gè)性化標(biāo)注模型。實(shí)驗(yàn)結(jié)果表明該個(gè)性化方法能夠顯著提高面向用戶的圖像標(biāo)注

10、性能，從而為圖像檢索提供更加優(yōu)質(zhì)的個(gè)性化服務(wù)。
　　在圖像標(biāo)簽修正方面，分析了數(shù)據(jù)相似性和數(shù)據(jù)共現(xiàn)性的不同特性，并在此基礎(chǔ)上設(shè)計(jì)了一種兩步策略，以合理利用網(wǎng)絡(luò)圖像資源對(duì)圖像標(biāo)簽進(jìn)行修正。首先，論文根據(jù)數(shù)據(jù)相似性引入了一種圖學(xué)習(xí)（Graph Learning，GL）模型，用于解決圖像標(biāo)簽分布的稀疏性問(wèn)題。然后，論文結(jié)合數(shù)據(jù)共現(xiàn)性設(shè)計(jì)了一種流形約束的非負(fù)張量分解（Nonnegative Tensor Factorization，NTF