流形學(xué)習(xí)的譜方法相關(guān)問(wèn)題研究.pdf

1、在當(dāng)今這個(gè)信息時(shí)代，可以方便地獲得大量的數(shù)據(jù)。許多實(shí)際應(yīng)用中，獲得的數(shù)據(jù)是高維的、龐大的、繁雜的、無(wú)序的，并且還在不斷的增加，有價(jià)值的信息淹沒(méi)在大規(guī)模的海量高維數(shù)據(jù)集之中，需要發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律以及預(yù)測(cè)未來(lái)發(fā)展趨勢(shì)。流形學(xué)習(xí)就是假定這些觀測(cè)數(shù)據(jù)位于或近似位于一個(gè)嵌入在高維歐氏空間中的內(nèi)在低維流形上，主要目標(biāo)是發(fā)現(xiàn)高維觀測(cè)數(shù)據(jù)集的內(nèi)在低維流形結(jié)構(gòu)和嵌入映射關(guān)系。目前，流形學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)、模式識(shí)別、數(shù)據(jù)挖掘以及其它相關(guān)研究領(lǐng)域的研究熱

2、點(diǎn)。 本文通過(guò)分析流形學(xué)習(xí)的內(nèi)涵與外延，立足于解決流形學(xué)習(xí)的譜方法中的重要問(wèn)題，在算法設(shè)計(jì)層面和圖像流形應(yīng)用層面上展開(kāi)了一系列研究。首先對(duì)流形學(xué)習(xí)的典型譜方法做了詳細(xì)對(duì)比分析，然后針對(duì)流形的增殖學(xué)習(xí)、構(gòu)造近鄰關(guān)系的合理度量、提高內(nèi)在低維空間的可分性、基于集成的流形學(xué)習(xí)、局部保持的算法和全局保持的算法兩者優(yōu)勢(shì)融合等幾方面進(jìn)行了重點(diǎn)研究，提出了五個(gè)以譜方法為基礎(chǔ)的流形學(xué)習(xí)算法，并和相關(guān)研究成果做了理論上與實(shí)驗(yàn)上的比較，表明了我們提出

3、算法的有效性。 本文主要?jiǎng)?chuàng)新成果有以下幾方面： （1）定義了增殖流形學(xué)習(xí)的概念，這有利于指導(dǎo)符合人腦增殖學(xué)習(xí)機(jī)理的流形學(xué)習(xí)算法的研究。以此為指導(dǎo)原則，提出了一種基于LLE的動(dòng)態(tài)增殖流形學(xué)習(xí)算法（DKI-LLE）。實(shí)驗(yàn)結(jié)果表明：DKI-LLE算法比LLE的幾個(gè)增量式算法在處理新數(shù)據(jù)集時(shí)有更好的效果；DKI-LLE算法發(fā)現(xiàn)的整體低維結(jié)構(gòu)更接近批處理的方式獲得的低維結(jié)構(gòu)，使得新到來(lái)的數(shù)據(jù)子集所包含的低維結(jié)構(gòu)知識(shí)被整合到原有的低

4、維結(jié)構(gòu)中去；而LLE的增量式算法處理新的觀測(cè)數(shù)據(jù)時(shí)更依賴于原有數(shù)據(jù)的低維坐標(biāo)。 （2）提出了一種基于測(cè)地線距離的廣義高斯型拉普拉斯特征映射算法（GGLE）。該算法將測(cè)地線距離和廣義高斯函數(shù)融合到傳統(tǒng)的拉普拉斯特征映射算法中，可以調(diào)整近鄰圖結(jié)點(diǎn)間的相似度，通過(guò)選擇超高斯、高斯或者次高斯函數(shù)來(lái)實(shí)現(xiàn)不同程度的近鄰局部特性的保持；而且當(dāng)需要保持更多的近鄰關(guān)系使得數(shù)據(jù)點(diǎn)鄰域增大時(shí)，采用測(cè)地線距離可以避免歐氏距離度量不合理的缺陷；實(shí)驗(yàn)結(jié)果表

5、明在用不同的廣義高斯函數(shù)度量高維數(shù)據(jù)點(diǎn)間的相似度時(shí)，局部近鄰結(jié)構(gòu)保持的程度是不同的，GGLE獲得的全局低維坐標(biāo)也呈現(xiàn)出不同的聚類(lèi)特性。 （3）提出了一種基于GGLE的集成判別算法（EGGLE），該算法的主要優(yōu)點(diǎn)是：近鄰參數(shù)k固定，鄰接矩陣和測(cè)地線距離矩陣都只構(gòu)造一次，只需要多次選擇廣義高斯型函數(shù)構(gòu)造多個(gè)拉普拉斯矩陣，獲取多個(gè)獨(dú)立的低維空間坐標(biāo)集合，獨(dú)立學(xué)習(xí)分類(lèi)器，集成分類(lèi)識(shí)別。時(shí)間復(fù)雜度上EGGLE算法與Ensemble-Iso

6、map和En-ULLELDA算法相比較通常更具有優(yōu)越性。在半監(jiān)督學(xué)習(xí)框架下做了LE與EGGLE算法的對(duì)比實(shí)驗(yàn)，識(shí)別結(jié)果表明了EGGLE算法的有效性。另外，本文也提出了一種監(jiān)督的集成流形學(xué)習(xí)算法（EGGLE-LDA），該算法將線性監(jiān)督算法LDA和EGGLE相結(jié)合，加強(qiáng)集成流形學(xué)習(xí)在監(jiān)督學(xué)習(xí)中的判別能力，使得EGGLE-LDA算法既考慮了數(shù)據(jù)的類(lèi)別信息又考慮了幾何分布特性。實(shí)驗(yàn)結(jié)果表明了EGGLE-LDA算法和En-ULLELDA算法的集成

7、識(shí)別性能的差異。 （4）提出了一種全局拉普拉斯展開(kāi)算法（GLU），該算法綜合了局部保持的拉普拉斯特征映射算法（LE）和全局保持的最大化方差展開(kāi)算法（MVU）的優(yōu)點(diǎn)。主要思想是使得局部近鄰的點(diǎn)盡可能的接近，同時(shí)也要使得相互遠(yuǎn)離點(diǎn)盡可能遠(yuǎn)。實(shí)現(xiàn)方法是構(gòu)造局部盡可能近鄰和全局展開(kāi)的雙目標(biāo)函數(shù)，引入低維坐標(biāo)的Gram內(nèi)積矩陣，通過(guò)半定規(guī)劃（SDP）的方法優(yōu)化雙目標(biāo)函數(shù)，從而學(xué)習(xí)這樣一個(gè)內(nèi)積矩陣，最后對(duì)這個(gè)內(nèi)積矩陣進(jìn)行特征分解求內(nèi)在低維嵌