基于多模態(tài)特征關(guān)聯(lián)分析的圖像識別.pdf

1、多模態(tài)特征，是指通過不同特征表達方式描述對象的屬性。采用多模態(tài)特征有助于提高對象固有屬性的表達能力，因此在現(xiàn)代圖像識別與檢索領(lǐng)域應(yīng)用廣泛。本文基于視覺特征中的多模態(tài)性與視覺-語義多模態(tài)性，針對圖像標(biāo)注與跨模態(tài)檢索哈希兩大應(yīng)用場景進行算法設(shè)計，主要工作與創(chuàng)新點包括以下三點：
　　1.基于社團發(fā)現(xiàn)與多核支持向量機的圖像標(biāo)注算法：該模型通過社團發(fā)現(xiàn)算法挖掘圖像語義信息中潛在的語義社團，通過多核支持向量機與多種基本圖像特征學(xué)習(xí)得到語義社團

2、所對應(yīng)的視覺特征表達方式。同時為了提高圖像標(biāo)注的準確性，采用基于社團內(nèi)與跨社團的雙重標(biāo)注策略。通過在NUS-WIDE數(shù)據(jù)庫上的實驗證明了所提出方法的有效性。
　　2.基于語義與視覺顯著性關(guān)聯(lián)分析的圖像標(biāo)注算法：該模型重點研究了圖像的視覺顯著性區(qū)域與文本中語義顯著性在圖像標(biāo)注任務(wù)中的應(yīng)用。首先通過提取圖像中的視覺顯著性較強的區(qū)域并結(jié)合的視覺詞袋算法生成兩層顯著性視覺詞袋特征。同時針對語義顯著性提取文本中與視覺顯著性區(qū)域相對應(yīng)的文本內(nèi)

3、容。通過在NUS-WIDE數(shù)據(jù)庫上的實驗證明了算法的有效性。
　　3.基于部分樣本對應(yīng)關(guān)系的跨模態(tài)檢索哈希算法：該模型能夠充分利用各個模態(tài)之間的海量數(shù)據(jù)信息并無需提供所有的跨模態(tài)對應(yīng)關(guān)系。首先在每個模態(tài)中建立駐點圖，能夠高效且準確地保證局部數(shù)據(jù)平滑性，從而實現(xiàn)模態(tài)內(nèi)數(shù)據(jù)一致性傳播；對于已知跨模態(tài)對應(yīng)關(guān)系的數(shù)據(jù)，則將其映射到同一個漢明數(shù)據(jù)空間，并最大化生成哈希編碼的保距特性。最終實現(xiàn)在語義層次相近的跨模態(tài)數(shù)據(jù)在同一個漢明空間內(nèi)距離保