基于CCA子空間的自動圖像標注與應用研究.pdf

1、自動圖像標注(AIA)是圖像檢索領域中一個十分重要的研究工作。自從AIA技術誕生以來，人們對其的研究就從未終止。對于如何獲取有效的描述圖像語義信息的圖像特征，以及如何構建有效的標注模型，還有如何對已經(jīng)標注出的圖像候選標注詞進行優(yōu)化。這些對于解決圖像標注中的“語義鴻溝”問題是十分重要的。有效的標注模型或方法的構建，對于改進AIA的性能與效率會起到很重要的作用。
　　 (1)研究了依據(jù)典型相關分析(CCA)組合顏色與紋理特征的方法。

2、該策略首要考慮的問題是圖像特征的提取。通過對比現(xiàn)有特征信息的優(yōu)劣不同，選取顏色與LBP紋理算子，作為要進行融合的特征參數(shù)。憑借CCA在這方面的優(yōu)勢，獲得了優(yōu)良的表達視覺語義的信息。該方法解決了圖像特征經(jīng)常不能有效的描述圖像的語義信息的問題。對于提高圖像的檢索與標注效率，起到了很重要的促進作用。同時該特征也是用來為后續(xù)內(nèi)容的圖像標注做基礎的。本文進行自動圖像標注所使用的圖像特征就是通過該方法得來的。通過實驗驗證，也證明了此種特征的有效性。

3、
　　 (2)為了提高自動圖像標注精度，利用CCA技術，結合高斯混合模型(GMM)模型，研究了一種基于CCA和GMM的自動圖像標注算法。該算法借助于CCA對選取圖像的兩種全局圖像參數(shù)進行處理，減除了因單種特征描述圖像的不足。還避免了由不完美的分割算法帶來的表達語義不清錯誤。使用此新的特征來標注圖像。利用GMM來估計圖像特征與標注詞的聯(lián)合概率密度，得到其概率分布，構筑標注模型。在Coral5k圖像集上進行驗證，表明了此方法對于圖像

4、標注，性能上有了提高。
　　 (3)利用圖像特征和標注詞特征之間的關系，將這兩種特征進行CCA融合，形成了一個結合CCA的標注與優(yōu)化策略。該方法使用圖像的局部特征，同時考慮到了圖像的低層特征與標注詞特征之間的相關性。利用典型相關分析(CCA)來探究這種關系，得到了CCA子空間特征，這是兩種特征之間最有用的信息。為了使得圖像的特征所在空間一致，將待標注圖像局部參數(shù)信息通過CCA典型變量投影到與訓練集CCA特征一致的空間。使用該特征

5、，結合GMM模型，和貝葉斯分類器來構筑標注模型。同時對于計算出的候選詞組，根據(jù)詞組之間的相似關系，執(zhí)行標注優(yōu)化。該方法在低層圖像特征與高層的圖像語義之間構建了一個非常有用的“橋梁”。為了測試該方法的有效性，在JMLR2003圖像集上，進行了驗證，實驗表明，以查準率、查全率為評價標準，該方法使得圖像的標注性能有了很大的提高。
　　 (4)將圖譜的理論引入AIA中，借助圖論的知識來改進標注的性能，研究了基于K-調(diào)和均值譜聚類算法(K

6、HMSC)的自動圖像標注算法。在K-均值的基礎上，加入了調(diào)和概念，結合譜聚類的知識形成KHMSC算法。最主要的是，該算法通過二次聚類，得到用來表示圖像語義的區(qū)域語義塊。首先，在詞組向量空間利用KHMSC聚類，形成n個語義類概念。而后，在每一個類所在的圖像特征空間內(nèi)執(zhí)行第二次聚類，相似的特征就會被聚集到一起，這樣就形成了k個語義塊。使用Davies-Bouldin指數(shù)來確定最優(yōu)的語義塊數(shù)目。該方法使用的特征也是通過CCA來進行提取的。這些

7、語義塊與詞間的概率就是該方法所需要求取的統(tǒng)計變量信息。使用多重伯努利模型來估計此分布信息。最后利用樸素貝葉斯模型來得到標注詞與測試圖像的聯(lián)合概率分布，構筑此標注模型。將概率分布最大的前R個標注詞作為最后的圖像標注詞組。同樣，我們在JMLR2003圖像集上，驗證了此圖像標注算法的性能，證明該方法對構建圖像低層特征與高層語義之間的一致性信息是有用的。
　　 典型相關分析對于研究圖像的不同視覺特征之間的關系是非常重要的。利用這個性質來