多流形數(shù)據(jù)建模及其應(yīng)用.pdf

1、許多數(shù)據(jù)集可以通過一些簡(jiǎn)單幾何對(duì)象的混合來建模，即多流形數(shù)據(jù)建模，比如眾所周知的NIST手寫體數(shù)字?jǐn)?shù)據(jù)集和人臉數(shù)據(jù)集。有效地模擬及分析這類數(shù)據(jù)的數(shù)學(xué)模型是一項(xiàng)具有挑戰(zhàn)性的數(shù)學(xué)問題。在本世紀(jì)初的早期工作，建模數(shù)據(jù)的有效方法是使用單一流形，其思想是把一組在高維空間中的數(shù)據(jù)在其潛在的低維空間流形中表示出來，其主要目的是期望尋找產(chǎn)生數(shù)據(jù)集的內(nèi)在規(guī)律性，即從觀測(cè)的現(xiàn)象中去尋找其本質(zhì)。不同于單流形學(xué)習(xí)，多流形數(shù)據(jù)建模的目的是把輸入數(shù)據(jù)集分為若干個(gè)類

2、別，使得每個(gè)類別中的數(shù)據(jù)點(diǎn)都來自單一、簡(jiǎn)單、低維嵌入流形。假定一組數(shù)據(jù)來自于多個(gè)流形，多流形數(shù)據(jù)建模的目標(biāo)為:分析各子流形的數(shù)目和它們分別的維數(shù);數(shù)據(jù)的劃分（數(shù)據(jù)屬于不同的低維流形）;數(shù)據(jù)在對(duì)應(yīng)低維流形的嵌入。
　　多流形數(shù)據(jù)建?？山沂緮?shù)據(jù)的潛在空間分布規(guī)律，為解決多流形結(jié)構(gòu)等復(fù)雜的數(shù)據(jù)，本文從頭部姿勢(shì)估計(jì)和人臉識(shí)別問題出發(fā)提出了幾種多流形數(shù)據(jù)建模方法。主要工作和創(chuàng)新點(diǎn)包括以下幾個(gè)方面:
　　1.提出了監(jiān)督流形嵌入的頭部姿勢(shì)

3、估計(jì)方法:很多數(shù)據(jù)降維的方法可以用于流形嵌入進(jìn)行頭部姿勢(shì)估計(jì)，但面臨的困難是如何創(chuàng)建一種有效的嵌入算法，既可以很好地保留姿勢(shì)信息，又可以忽略掉與姿勢(shì)無關(guān)的圖像變化信息，如身份、背景等信息。在引用姿勢(shì)標(biāo)簽信息的同時(shí)使用了身份信息來指導(dǎo)流形學(xué)習(xí)，本文提出了監(jiān)督的流形嵌入(Supervised Manifold Embedding，SME)算法，以期望學(xué)習(xí)頭部姿勢(shì)特征的同時(shí)去除身份等信息的影響。實(shí)驗(yàn)結(jié)果表明:頭部姿勢(shì)圖像在低維嵌入空間中有很好

4、的類內(nèi)聚集性和類間分離性。
　　2.提出了基于近鄰傳播聚類的多流形數(shù)據(jù)建模方法:為進(jìn)一步學(xué)習(xí)不依賴于身份的頭部姿勢(shì)特征，本文提出使用多流形來對(duì)頭部姿勢(shì)數(shù)據(jù)建模。一方面，因?yàn)樯矸菟鶐淼淖兓窃诘途S姿勢(shì)空間中流形嵌入的平移，旋轉(zhuǎn)和扭曲等;另一方面，由于身份的變化，嚴(yán)重地影響了單流形嵌入的光滑性和判別性。因此本文提出了基于近鄰傳播聚類的多流形嵌入(Multi-Manifold Embedding，MME)算法，該算法采用多流形來建模頭

5、部姿勢(shì)圖像，每一個(gè)流形來刻畫具有相似外觀的個(gè)體的姿勢(shì)流形。實(shí)驗(yàn)結(jié)果表明:多流形建模提高了頭部姿勢(shì)估計(jì)的準(zhǔn)確率。
　　3.提出了基于投影聚類的多流形數(shù)據(jù)建模方法:針對(duì)個(gè)體進(jìn)行近鄰傳播聚類時(shí)，個(gè)體的特征維數(shù)很大，導(dǎo)致聚類的有效性降低。因此，本文使用投影聚類的思想方法來解決這個(gè)問題，提出了基于投影聚類的多流形數(shù)據(jù)建模方法，包括三個(gè)階段（尋找相似單純形、流形嵌入和K流形聚類）來建模頭部姿勢(shì)多流形，減弱了“維數(shù)災(zāi)難”的影響，實(shí)驗(yàn)結(jié)果表明:該

6、方法可以提高頭部姿勢(shì)在低維嵌入空間中的類內(nèi)聚集性和類間分離性。
　　4.提出了基于組稀疏性和非負(fù)性矩陣分解的多流形數(shù)據(jù)建模方法:使用L1/L2正則化方法來對(duì)矩陣分解的系數(shù)矩陣H進(jìn)行列的組稀疏約束，可得到由多個(gè)流形投影矩陣組成的基矩陣W。本文提出了組稀疏非負(fù)矩陣分解(Group Sparse Non-negative Matrix Factoriza-tion，GSNMF)算法。通過組稀疏和非負(fù)矩陣分解把數(shù)據(jù)空間建模為多流形空間，其