非線性維數(shù)約減的研究及其應用.pdf

1、對維數(shù)約減的研究是機器學習的重要主題,維數(shù)約減較中肯地把握了人類的歸納學習和抽象思維過程的形式特征.維數(shù)約減算法大致可以分為兩類,一類是線性的方法:如主成分分析法(PCA)和經(jīng)典多維尺度算法(CMDS),另一類是非線性的方法:如等距映射法(Isomap)、局域線性嵌入法(LLE)和自組織等距嵌入法(SIE)等.該文首先對幾種維數(shù)約減算法進行了研究和分析.經(jīng)典的維數(shù)約減算法,如PCA和CMDS,實現(xiàn)簡單,可以確保發(fā)現(xiàn)處于高維向量空間的線性

2、子空間上的數(shù)據(jù)集的真實幾何結(jié)構(gòu).但是這類算法的線性本質(zhì)使其無法揭示復雜的非線性流形.為此,許多非線性維數(shù)約減算法相繼提出.Isomap是一種全局優(yōu)化算法,該算法建立在經(jīng)典多維尺度算法CMDS基礎之上,試圖保持數(shù)據(jù)間內(nèi)在的幾何特性,即保持數(shù)據(jù)點之間的測地線距離;LLE是一種無監(jiān)督的學習算法,揭示非線性流形的全局結(jié)構(gòu).LLE使用一種局域?qū)ΨQ和線性重構(gòu)的方法,將輸入空間的點集映射為一個單一低維的全局坐標系,并保持點的鄰域關系.SIE則是基于一

3、種幾何的觀點:一個全局等距的嵌入必然是局域等距的,同樣,適當選定一組局域等距約束條件,可以蘊含全局等距;SIE利用點集的距離分布作為等距約束條件,通過適當選取保持局域距離分布的局域等距映象,在概率意義上強迫出全局等距嵌入映象.為了客觀評價各種非線性維數(shù)約減算法的重構(gòu)質(zhì)量,該文采用仿真數(shù)據(jù)和真實數(shù)據(jù)分別用各種維數(shù)約減算法進行重構(gòu).該文將非線性維數(shù)約減的方法引入文本分類,并驗證了基于非線性維數(shù)約減的文本分類的可用性.仿真實驗表明,對于無噪數(shù)