基于多特征融合及詞匯相關(guān)性和多樣性的圖像標(biāo)注方法研究.pdf

1、隨著計(jì)算機(jī)軟硬件、人工智能技術(shù)的不斷發(fā)展，以及各種智能電子設(shè)備和社交網(wǎng)站的流行與普及，人們?cè)诠ぷ鳌⑸?、學(xué)習(xí)、社交和娛樂中產(chǎn)生了海量的數(shù)字圖像，如何能夠在互聯(lián)網(wǎng)環(huán)境下實(shí)現(xiàn)快速、有效的圖像檢索方法變成了目前人工智能領(lǐng)域的熱點(diǎn)研究問題。基于內(nèi)容的圖像檢索由于處理速度慢、效果不理想等缺點(diǎn)，對(duì)圖像的語義進(jìn)行標(biāo)注是一種主流的解決方案，其主要方法有手工標(biāo)注、半自動(dòng)標(biāo)注和自動(dòng)標(biāo)注。由于圖像的高層語義是抽象的概念，同一個(gè)語義對(duì)應(yīng)的圖像底層特征千差萬別，

2、自動(dòng)標(biāo)注需要解決二者之間存在的“語義鴻溝”。最近幾十年，盡管各種圖像自動(dòng)標(biāo)注的方法層出不盡，但圖像自動(dòng)標(biāo)注依然面臨樣本稀疏、光照敏感、尺度不一等諸多挑戰(zhàn)性的問題。論文正是針對(duì)上述問題進(jìn)行研究，嘗試提出新的解決方案，來提高圖像語義標(biāo)注的準(zhǔn)確性，同時(shí)增加標(biāo)注詞匯的多樣性。
　　論文的基本思路如下:提出合適的模型來解決高層語義的表述問題和標(biāo)注詞匯的同義問題。前一個(gè)問題主要是指針對(duì)標(biāo)注詞所對(duì)應(yīng)的圖像底層特征差別巨大，嘗試找到表達(dá)能力更強(qiáng)的

3、概率模型來表述標(biāo)注詞的視覺內(nèi)涵;后一個(gè)問題主要是指不同詞匯的高層語義一致、只是表達(dá)方式不一樣的問題，嘗試在標(biāo)注詞匯數(shù)量受限的情況下，找到語義差別大、同時(shí)又能準(zhǔn)確描述圖像的詞匯集合?；谏鲜鲅芯克悸?，論文的主要內(nèi)容如下:
　　(1)論文第三章主要研究利用混合概率模型從不同的角度來表達(dá)詞匯的高層語義，繼而完成圖像的自動(dòng)標(biāo)注。具體地，首先提取圖像顏色、形狀和紋理等方面的特征，然后利用每個(gè)標(biāo)注詞匯對(duì)應(yīng)的樣本集合在顏色、形狀和紋理三個(gè)子空間

4、分別訓(xùn)練一個(gè)高斯模型，我們稱這些高斯模型為標(biāo)注詞分描述子。由于三個(gè)特征子空間是對(duì)同一事物不同側(cè)面的描述，對(duì)圖像的高層語義識(shí)別能力不一樣，因此需要融合這些高斯模型來增強(qiáng)標(biāo)注詞匯的表達(dá)能力。三個(gè)高斯模型采用加權(quán)的方式一起構(gòu)成了標(biāo)注詞描述子，并且采用機(jī)器學(xué)習(xí)的方法（論文采用遺傳算法）來學(xué)習(xí)這些權(quán)重。每一個(gè)標(biāo)注詞訓(xùn)練好后，針對(duì)未知圖像的標(biāo)注過程如下:對(duì)圖像進(jìn)行分割，對(duì)分割后的區(qū)域提取顏色、形狀和紋理特征，并計(jì)算其屬于每個(gè)詞匯的概率，然后為該區(qū)域

5、選擇標(biāo)注詞。論文利用Corel1k數(shù)據(jù)集對(duì)上述方法進(jìn)行測(cè)試，實(shí)驗(yàn)的結(jié)果表明論文提出的標(biāo)注詞描述子可以有效地建立圖像高層語義與底層視覺特征之間的關(guān)系，且標(biāo)注的準(zhǔn)確率在平均查全率、平均查準(zhǔn)率和平均F1測(cè)度值幾個(gè)方面優(yōu)于CMRM等主流的標(biāo)注算法。
　　(2)為了進(jìn)一步提高高斯混合模型標(biāo)注的實(shí)用性，論文第四章進(jìn)一步研究了融合標(biāo)注詞之間相關(guān)性以及增強(qiáng)標(biāo)注詞多樣性的圖像標(biāo)注方法。標(biāo)注詞的相關(guān)性是指圖像標(biāo)注詞之間的伴生現(xiàn)象，一些標(biāo)注詞之間往往不

6、是相互獨(dú)立的，而是伴生出現(xiàn)在共同的場(chǎng)景中，利用其相關(guān)性會(huì)增加標(biāo)注的準(zhǔn)確率。標(biāo)注詞多樣性是指詞匯的同義詞或近義詞，它們的存在使得標(biāo)注標(biāo)簽集出現(xiàn)冗余問題，尤其是標(biāo)注數(shù)量受限的情況下，該問題更加突出。論文考慮標(biāo)注詞之間的相關(guān)性和多樣性，為圖像選擇那些信息量最多、可能性最高、并且不同義的標(biāo)注詞，進(jìn)一步改善圖像標(biāo)注的性能。實(shí)現(xiàn)的方法如下:首先利用詞匯共生關(guān)系和語義伴生關(guān)系來表達(dá)詞匯之間的相關(guān)性，并且利用第三章提出的高斯混合模型來計(jì)算不同詞匯語義之

7、間的多樣性，然后利用高斯混合模型描述子、詞匯間相關(guān)性和多樣性來對(duì)給定的未標(biāo)注圖像進(jìn)行標(biāo)注。其中，第一標(biāo)注詞的選取采用第三章的模型，選取所有區(qū)域?qū)?yīng)的概率最大的詞匯作為第一標(biāo)注詞，并且選取出圖像的標(biāo)注詞候選。隨后的標(biāo)注詞的選取是計(jì)算與前面標(biāo)注詞相關(guān)并能從更多角度描述圖像的詞匯。為了驗(yàn)證該方法的有效性，論文選取Corel5k數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明此方法標(biāo)注的效果不亞于第三章提出的圖像標(biāo)注方法，并且增加了標(biāo)注詞匯的多樣性。