基于對(duì)象和動(dòng)作聯(lián)合建模的圖像標(biāo)注技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的普及發(fā)展，網(wǎng)絡(luò)上的圖像信息正以指數(shù)級(jí)的速率增長(zhǎng)。因此對(duì)海量圖像進(jìn)行有效的管理和檢索有著非常重要的現(xiàn)實(shí)意義。這些互聯(lián)網(wǎng)圖像一般都有一些描述其語境的伴隨文本，因此從圖像伴隨文本中選擇合適的名詞-動(dòng)詞去描述圖像中的人物和動(dòng)作成為當(dāng)前熱點(diǎn)研究問題。
　　 現(xiàn)有方法通常用圖像中人物的外觀特征學(xué)習(xí)得到表示人物和名詞或者動(dòng)作和動(dòng)詞之間概率的生成模型，然后使用這一得到的生成模型對(duì)訓(xùn)練集以外圖像中人物運(yùn)動(dòng)進(jìn)行識(shí)別。但是，這些方法都

2、是單獨(dú)的關(guān)注于對(duì)象或者動(dòng)作的標(biāo)注，沒有考慮對(duì)象和動(dòng)作之間存在的聯(lián)系。本文提出了基于對(duì)象-動(dòng)作聯(lián)合建模的方法，用人臉提取的九個(gè)不同位置SIFT特征作為人物外觀特征，用基于pictorial structure的人體部位概率分布作為動(dòng)作的姿勢(shì)特征，聯(lián)合建立識(shí)別模型，實(shí)驗(yàn)表明通過聯(lián)合建模的方法相比單獨(dú)建?？梢杂行岣邷?zhǔn)確率。
　　 同時(shí)，在動(dòng)作的識(shí)別上，當(dāng)前的方法忽略了圖像中高維特征之間固有存在的組效應(yīng)，即同構(gòu)特征之間存在較強(qiáng)關(guān)聯(lián)性而