多視圖嵌入學(xué)習(xí)方法及其應(yīng)用研究.pdf

1、隨著數(shù)據(jù)采集和存儲(chǔ)技術(shù)的飛速發(fā)展，多視圖數(shù)據(jù)大量涌現(xiàn)。多視圖數(shù)據(jù)從不同視角去刻畫同一物體，因此其能反映同一物體的不同特性。雖然多視圖數(shù)據(jù)能夠提供比傳統(tǒng)單視圖數(shù)據(jù)更為豐富的信息，但是如何有效分析多視圖數(shù)據(jù)一直以來(lái)是一個(gè)研究難點(diǎn)也是熱點(diǎn)。多視圖數(shù)據(jù)往往存在于高維空間中，且不同視圖之間存在相關(guān)性，因此，有效地學(xué)習(xí)多視圖數(shù)據(jù)中潛在的低維嵌入對(duì)于提升學(xué)習(xí)模型的性能、同時(shí)降低學(xué)習(xí)算法的復(fù)雜度至關(guān)重要。本文以多視圖數(shù)據(jù)為研究對(duì)象，深入研究多視圖嵌入學(xué)

2、習(xí)的相關(guān)技術(shù)，結(jié)合哈希技術(shù)，探討有關(guān)方法在大規(guī)模視覺檢索、圖像分類、自動(dòng)標(biāo)注等任務(wù)中的應(yīng)用。本文的主要研究成果及貢獻(xiàn)如下:
　　(1)提出了半配對(duì)離散哈希方法(SPDH)。目前大部分的跨視圖哈希學(xué)習(xí)方法假定不同視圖間的樣本配對(duì)信息是完整的，然而這種假設(shè)在現(xiàn)實(shí)場(chǎng)景下一般不成立。本文研究一種更為常見也更具挑戰(zhàn)性的的半配對(duì)跨視圖檢索問(wèn)題，即存在部分樣本的配對(duì)信息未知。提出的半配對(duì)離散哈希方法(SPDH)能夠挖掘公共子空間的潛在結(jié)構(gòu)，并且

3、對(duì)齊配對(duì)以及未配對(duì)樣本。通過(guò)選取一些錨點(diǎn)對(duì)，構(gòu)建一種跨視圖的近鄰圖來(lái)刻畫半配對(duì)數(shù)據(jù)的相似性結(jié)構(gòu)。最后給出一種基于矩陣分解的哈希編碼方式?？紤]哈希碼的離散屬性，提出了一種循環(huán)坐標(biāo)迭代的方法來(lái)求解哈希碼，其中每一個(gè)比特都存在封閉解。在大量全配對(duì)和半配對(duì)設(shè)置的實(shí)驗(yàn)上驗(yàn)證了SPDH在大規(guī)模跨視圖檢索中的有效性。
　　(2)提出了多視圖離散哈希方法(MvDH)。如何充分從多個(gè)視圖中挖掘出豐富的信息用于生成優(yōu)質(zhì)的哈希碼是一個(gè)亟待解決的問(wèn)題。提

4、出的多視圖離散哈希方法(MvDH)通過(guò)矩陣分解技術(shù)對(duì)多視圖數(shù)據(jù)進(jìn)行分解，生成的哈希碼可以視作多個(gè)視圖共享的潛在特征;同時(shí)采用譜聚類生成聚類標(biāo)簽。MvDH聯(lián)合學(xué)習(xí)哈希碼和聚類標(biāo)簽，并且建立兩者之間的一致性關(guān)系，從而確保哈希碼具有強(qiáng)有力的鑒別性。采用離散優(yōu)化的方式求解提出的模型，算法能夠保證收斂且計(jì)算復(fù)雜度較低。在大量的視覺檢索實(shí)驗(yàn)上驗(yàn)證了MVDH在性能和可擴(kuò)展性方面的優(yōu)勢(shì)。
　　(3)提出了聯(lián)合嵌入(CoE)和聯(lián)合哈希(CoH)多標(biāo)

5、記學(xué)習(xí)方法。目前大部分嵌入方法無(wú)法很好地捕捉多標(biāo)記學(xué)習(xí)中特征與標(biāo)記之間的相關(guān)性，導(dǎo)致預(yù)測(cè)性能的下降。為了解決上述問(wèn)題，首先提出一種聯(lián)合嵌入學(xué)習(xí)算法(CoE)。CoE將特征和標(biāo)記視作兩個(gè)不同的視圖，將標(biāo)記預(yù)測(cè)問(wèn)題轉(zhuǎn)化成跨視圖搜索問(wèn)題，其能降低傳統(tǒng)編碼解碼策略的算法復(fù)雜度。為了提升搜索的質(zhì)量，引入跨視圖學(xué)習(xí)的思想，聯(lián)合學(xué)習(xí)投影向量和潛在的公共子空間，同時(shí)保持住該空間內(nèi)嵌入的相似性結(jié)構(gòu)，使得相似的嵌入具有相近的標(biāo)簽。在CoE基礎(chǔ)上，對(duì)嵌入引入

6、二值約束，提出聯(lián)合哈希學(xué)習(xí)算法(CoH)，其目標(biāo)是學(xué)習(xí)一個(gè)公共的漢明空間。由于漢明距離計(jì)算的高效性，CoH能夠進(jìn)一步提升多標(biāo)記預(yù)測(cè)的效率。大量的實(shí)驗(yàn)驗(yàn)證了CoE和CoH在多標(biāo)記預(yù)測(cè)效率以及效果上的有效性。
　　(4)提出了基于圖嵌入的多重集典型相關(guān)分析框架(GbMCC-DR)和基于標(biāo)簽傳播的半監(jiān)督典型相關(guān)分析方法(LPbSCCA)?；诙嘀丶湫拖嚓P(guān)分析(MCCA)的一種等價(jià)形式，使用圖結(jié)構(gòu)的形式對(duì)相關(guān)性進(jìn)行統(tǒng)一的刻畫，并且提出了

7、基于圖嵌入的多重集典型相關(guān)分析框架(GbMCC-DR)。針對(duì)監(jiān)督場(chǎng)景，在GbMCC-DR框架下，通過(guò)引入三種新的監(jiān)督圖，提出了三種新的監(jiān)督型相關(guān)分析方法。同時(shí)理論分析證明此框架能夠統(tǒng)一一些現(xiàn)有的方法，如MCCA、PLS、LPCCA、GCCA。針對(duì)半監(jiān)督場(chǎng)景，提出了一種基于標(biāo)簽傳播的半監(jiān)督典型相關(guān)分析方法(LPbSCCA)。首先利用稀疏表示使用標(biāo)記樣本的標(biāo)簽信息去估計(jì)未標(biāo)記樣本的標(biāo)簽，然后構(gòu)建概率標(biāo)簽下的視圖內(nèi)類內(nèi)散度以及視圖間的相關(guān)性，