流形學習及其應用算法研究.pdf

1、流形學習是一種新穎的非線性降維技術，是當前機器學習、數(shù)據(jù)挖掘和模式識別領域的研究熱點。本論文以提高流形學習處理實際問題的能力為目的，主要研究了流形學習的穩(wěn)健性以及流形學習在模式識別中的應用兩個問題，所做的主要工作及創(chuàng)新性成果如下：
　　1.提出基于編碼長度的噪聲點檢測方法。傳統(tǒng)的噪聲點檢測算法沒有考慮流形上局部線性全局非線性的特點，并不完全適合于流形學習。本文基于編碼長度提出新的迭代噪聲點檢測方法。編碼長度是一種結構描述子，其相比

2、于傳統(tǒng)的歐氏距離能夠更好地描述數(shù)據(jù)的幾何結構。迭代方案的設計使得該方法較傳統(tǒng)方法具有更好的拓撲穩(wěn)定性。本文所提噪聲點檢測算法可作為預處理步驟使用，以增強經(jīng)典流形學習算法的穩(wěn)健性。
　　2.提出基于近鄰排序測度的噪聲鄰域選擇方法。考慮到利用歐氏距離求得的近鄰可能不再是流形意義上的近鄰，本文基于近鄰需要相互承認的思想定義了衡量近鄰關系的測度一一近鄰排序測度。隨后，本文采取鄰域擴展加非近鄰移除的策略，提出基于近鄰排序測度的鄰域選擇方法。

3、與傳統(tǒng)的k近鄰方法相比，所提方法對參數(shù)變化不敏感，并且更適合處理噪聲流形學習問題。
　　3.針對局部切空間排列算法難以有效處理稀疏采樣數(shù)據(jù)和非均勻分布數(shù)據(jù)的缺點提出一種改進算法。首先提出一種基于L1范數(shù)的局部切空間估計方法，由于同時考慮了距離和結構因素，該方法得到的切空間較主成分分析方法更為準確。其次，在坐標排列步驟為了減小排列誤差，設計了一種基于流形結構的加權坐標排列方案，并給出了具體的求解方法?；谌嗽鞌?shù)據(jù)和真實數(shù)據(jù)的實驗表明

4、，該算法能夠有效地處理稀疏和非均勻分布的流形數(shù)據(jù)。
　　4.將流形學習與稀疏表示理論和非參數(shù)判別分析技術相結合，分別提出SPPNDA和 SRNDA兩種監(jiān)督特征提取算法。SPPNDA算法通過在最大化非參數(shù)類間離差的同時保持類內(nèi)稀疏重構關系來求解最優(yōu)投影矩陣，SRNDA算法通過在最大化非參數(shù)類間離差的同時最小化稀疏類內(nèi)離差來求解最優(yōu)投影矩陣。與現(xiàn)有基于流形學習的特征提取算法相比，SPPNDA和SRNDA算法的特點是：基于同類樣本的稀疏

5、表示來構造圖，克服了參數(shù)選擇的困難；利用非參數(shù)技術來刻畫類間信息，能夠更好地處理非高斯分布的數(shù)據(jù)；同時考慮了類內(nèi)幾何結構和類間信息，使所提兩種算法較傳統(tǒng)基于流形學習的特征提取算法更具鑒別力。
　　5.提出基于子類結構保持的特征選擇算法。針對現(xiàn)有基于流形學習的特征選擇算法對鄰域參數(shù)選擇較為敏感且難以有效處理復雜分布數(shù)據(jù)的缺點，本文將近鄰傳播算法和子類信息引入到特征選擇中，提出基于子類結構保持的特征選擇算法。該方法首先基于近鄰傳播算法