基于流形學習的數(shù)據(jù)降維的研究.pdf

1、隨著計算機科學技術(shù)的迅速發(fā)展，非結(jié)構(gòu)化的高維數(shù)據(jù)大量涌現(xiàn)。高維數(shù)據(jù)不僅難以被人們直觀理解，而且難以被現(xiàn)有的機器學習和數(shù)據(jù)挖掘算法有效地處理。如何有效地利用這些海量高維數(shù)據(jù)已經(jīng)成為未來企業(yè)競爭的砝碼。數(shù)據(jù)降維算法是有效處理這些高維數(shù)據(jù)的一個重要手段，同時也是特征提取的重要工具，數(shù)據(jù)降維算法在模式識別中扮演著越來越重要的角色。
　　 流形學習(Manifold Learning)算法是近年來發(fā)展起來的一種非線性降維算法，2000年，

2、J.B.Tenenbaum、Sam、Roweis等人在《科學》雜志的同一期上發(fā)表了關(guān)于流形學習方面最有影響的兩篇文章。他們提出了各自的流形學習算法：等距特征映射(Iisometric Feature Mapping，簡稱為ISOMAP)和局部線性嵌入(Locally LinearEmbedding，簡稱為LLE)，并首次使用了manifold learning術(shù)語，標志著以非線性為主要特征的流形學習方法的誕生。經(jīng)過近12年時間的進一步發(fā)

3、展，出現(xiàn)了很多流形學習算法，如LSTA、LE、Hessian LLE等。核方法在流形學習算法如局部線性嵌入，ISOMAP算法，拉普拉斯特征映射也取得了很大效果。推動流形學習成為機器學習領域中的熱點問題。本文圍繞流形學習算法展開，從線性降維算法、非線性降維算法(流形學習算法)等方面對數(shù)據(jù)降維算法進行了一些研究。
　　 隨著數(shù)據(jù)降維在許多領域的重要應用，以及其數(shù)學基礎--微分幾何的逐步完善，流形學習將在許多領域發(fā)揮重要作用。本論文在

4、第一章主要介紹了數(shù)據(jù)降維的目的以及非線性數(shù)據(jù)降維方法流形學習的研究背景、以及進展，還介紹了流形學習方法的一些基本的概念。論文在第二章介紹了兩種經(jīng)典的線性降維算法，它們分別是主成分分析(Principal Component Analysis PCA)和線性鑒別分析(Linear Discriminant AnalysisLDA)。論文在第三章主要介紹6種經(jīng)典的流形學習方法，包括多維尺度變換(Multidimensional Scalin

5、g，MDS)、等距特征映射(Isometric Feature Mapping ISOMAP)、局部線性嵌入(Locally Linear Embedding LLE)、拉普拉斯特征映射(laplacian eignmapLE)、黑賽局部線性嵌入算法(Hessian LLE)、局部切空間排列(Local Fangent SpaceAlignment LTSA)等。論文還分析了這些流形學習方法各自的優(yōu)缺點以及它們的異同點。并使用matla

6、b軟件對這6種經(jīng)典流形學習算法進行了模擬實現(xiàn)，論文中給出了實驗結(jié)果以及一些分析。
　　 在論文的第四章基于密度聚類的Nystrom算法思想，提出了一種改進流形學習準確性的方法。Nystrom算法是一種經(jīng)典的近似處理積分方程的算法，它還可以用在數(shù)據(jù)降維中對核矩陣的近似處理中，從而減少數(shù)據(jù)降維算法中的大型樣本的復雜的矩陣運算。它已成功地應用到一些流形學習算法，如MDS。由于Nystrom方法是進行矩陣抽樣時是隨機抽樣來代替原始樣本的