基于CCA子空間的自動圖像標(biāo)注與應(yīng)用研究.pdf

1、自動圖像標(biāo)注(AIA)是圖像檢索領(lǐng)域中一個十分重要的研究工作。自從AIA技術(shù)誕生以來，人們對其的研究就從未終止。對于如何獲取有效的描述圖像語義信息的圖像特征，以及如何構(gòu)建有效的標(biāo)注模型，還有如何對已經(jīng)標(biāo)注出的圖像候選標(biāo)注詞進(jìn)行優(yōu)化。這些對于解決圖像標(biāo)注中的“語義鴻溝”問題是十分重要的。有效的標(biāo)注模型或方法的構(gòu)建，對于改進(jìn)AIA的性能與效率會起到很重要的作用。
　　 (1)研究了依據(jù)典型相關(guān)分析(CCA)組合顏色與紋理特征的方法。

2、該策略首要考慮的問題是圖像特征的提取。通過對比現(xiàn)有特征信息的優(yōu)劣不同，選取顏色與LBP紋理算子，作為要進(jìn)行融合的特征參數(shù)。憑借CCA在這方面的優(yōu)勢，獲得了優(yōu)良的表達(dá)視覺語義的信息。該方法解決了圖像特征經(jīng)常不能有效的描述圖像的語義信息的問題。對于提高圖像的檢索與標(biāo)注效率，起到了很重要的促進(jìn)作用。同時該特征也是用來為后續(xù)內(nèi)容的圖像標(biāo)注做基礎(chǔ)的。本文進(jìn)行自動圖像標(biāo)注所使用的圖像特征就是通過該方法得來的。通過實驗驗證，也證明了此種特征的有效性。

3、
　　 (2)為了提高自動圖像標(biāo)注精度，利用CCA技術(shù)，結(jié)合高斯混合模型(GMM)模型，研究了一種基于CCA和GMM的自動圖像標(biāo)注算法。該算法借助于CCA對選取圖像的兩種全局圖像參數(shù)進(jìn)行處理，減除了因單種特征描述圖像的不足。還避免了由不完美的分割算法帶來的表達(dá)語義不清錯誤。使用此新的特征來標(biāo)注圖像。利用GMM來估計圖像特征與標(biāo)注詞的聯(lián)合概率密度，得到其概率分布，構(gòu)筑標(biāo)注模型。在Coral5k圖像集上進(jìn)行驗證，表明了此方法對于圖像

4、標(biāo)注，性能上有了提高。
　　 (3)利用圖像特征和標(biāo)注詞特征之間的關(guān)系，將這兩種特征進(jìn)行CCA融合，形成了一個結(jié)合CCA的標(biāo)注與優(yōu)化策略。該方法使用圖像的局部特征，同時考慮到了圖像的低層特征與標(biāo)注詞特征之間的相關(guān)性。利用典型相關(guān)分析(CCA)來探究這種關(guān)系，得到了CCA子空間特征，這是兩種特征之間最有用的信息。為了使得圖像的特征所在空間一致，將待標(biāo)注圖像局部參數(shù)信息通過CCA典型變量投影到與訓(xùn)練集CCA特征一致的空間。使用該特征

5、，結(jié)合GMM模型，和貝葉斯分類器來構(gòu)筑標(biāo)注模型。同時對于計算出的候選詞組，根據(jù)詞組之間的相似關(guān)系，執(zhí)行標(biāo)注優(yōu)化。該方法在低層圖像特征與高層的圖像語義之間構(gòu)建了一個非常有用的“橋梁”。為了測試該方法的有效性，在JMLR2003圖像集上，進(jìn)行了驗證，實驗表明，以查準(zhǔn)率、查全率為評價標(biāo)準(zhǔn)，該方法使得圖像的標(biāo)注性能有了很大的提高。
　　 (4)將圖譜的理論引入AIA中，借助圖論的知識來改進(jìn)標(biāo)注的性能，研究了基于K-調(diào)和均值譜聚類算法(K

6、HMSC)的自動圖像標(biāo)注算法。在K-均值的基礎(chǔ)上，加入了調(diào)和概念，結(jié)合譜聚類的知識形成KHMSC算法。最主要的是，該算法通過二次聚類，得到用來表示圖像語義的區(qū)域語義塊。首先，在詞組向量空間利用KHMSC聚類，形成n個語義類概念。而后，在每一個類所在的圖像特征空間內(nèi)執(zhí)行第二次聚類，相似的特征就會被聚集到一起，這樣就形成了k個語義塊。使用Davies-Bouldin指數(shù)來確定最優(yōu)的語義塊數(shù)目。該方法使用的特征也是通過CCA來進(jìn)行提取的。這些

7、語義塊與詞間的概率就是該方法所需要求取的統(tǒng)計變量信息。使用多重伯努利模型來估計此分布信息。最后利用樸素貝葉斯模型來得到標(biāo)注詞與測試圖像的聯(lián)合概率分布，構(gòu)筑此標(biāo)注模型。將概率分布最大的前R個標(biāo)注詞作為最后的圖像標(biāo)注詞組。同樣，我們在JMLR2003圖像集上，驗證了此圖像標(biāo)注算法的性能，證明該方法對構(gòu)建圖像低層特征與高層語義之間的一致性信息是有用的。
　　 典型相關(guān)分析對于研究圖像的不同視覺特征之間的關(guān)系是非常重要的。利用這個性質(zhì)來