基于流形學(xué)習(xí)的高維空間分類器研究.pdf

1、隨著各種數(shù)據(jù)采集設(shè)備的出現(xiàn)，大量高維的原始數(shù)據(jù)在預(yù)處理后才能被用于后續(xù)的各種操作，如聚類、分類、野值檢測等。維數(shù)約簡是數(shù)據(jù)預(yù)處理的步驟之一。其目的是在減少數(shù)據(jù)維數(shù)的同時(shí)，盡量減少或去除次要的冗余信息，并且保留或增強(qiáng)有意義的信息。因?yàn)楝F(xiàn)實(shí)世界中的數(shù)據(jù)多是非線性的，利用線性降維技術(shù)(如主成分分析，PCA)在映射到低維空間時(shí)，并不能保持高維空間的幾何結(jié)構(gòu)和關(guān)系。流形學(xué)習(xí)是一類新近出現(xiàn)的非線性維數(shù)約簡算法，認(rèn)為很多數(shù)據(jù)集是偽高維的，有時(shí)包含上千

2、特征的數(shù)據(jù)點(diǎn)可以描述為幾個(gè)潛在參數(shù)的函數(shù)。換句話說，數(shù)據(jù)點(diǎn)實(shí)際上采樣于嵌入到高維空間里的低維流形。流形學(xué)習(xí)算法試圖確定這些參數(shù)，并發(fā)現(xiàn)數(shù)據(jù)的低維表示。 對流形學(xué)習(xí)問題的研究有著非常重要的實(shí)際意義，在模式分析、數(shù)據(jù)挖掘、圖像處理等領(lǐng)域都有著廣泛的應(yīng)用。流形學(xué)習(xí)在分類和聚類方面的研究尚在初始階段，有很多問題尚待解決。本論文研究幾種代表性的流形學(xué)習(xí)算法，尤其是等距特征映射算法。分析了各種流形學(xué)習(xí)算法的優(yōu)缺點(diǎn)，并對流形學(xué)習(xí)若干關(guān)鍵問題進(jìn)

3、入了深入分析和改進(jìn)，側(cè)重于流形學(xué)習(xí)中的距離度量、固有維數(shù)、核化等幾個(gè)關(guān)鍵問題。本文的主要內(nèi)容包括： (1)譜圖理論是流形學(xué)習(xí)的基礎(chǔ)，本文根據(jù)譜圖理論，充分考慮數(shù)據(jù)的局部結(jié)構(gòu)，提出了一種基于近鄰自適應(yīng)尺度的改進(jìn)譜聚類算法。其基本思想是根據(jù)數(shù)據(jù)點(diǎn)的近鄰分布，對每個(gè)點(diǎn)設(shè)置一個(gè)近鄰自適應(yīng)尺度，代替標(biāo)準(zhǔn)譜聚類算法中的全局統(tǒng)一尺度。近鄰自適應(yīng)尺度簡化了參數(shù)的選取，使得新算法對密度的變化不敏感，對離群點(diǎn)有一定的魯棒性，同時(shí)比標(biāo)準(zhǔn)譜聚類更適合任

4、意形狀的數(shù)據(jù)分布。然后，將改進(jìn)的譜聚類算法成功地應(yīng)用到顏色量化中。 (2)如何自動(dòng)確定高維數(shù)據(jù)的固有維數(shù)，是流形學(xué)習(xí)難點(diǎn)之一。極大似然估計(jì)(MLE)是一種新近出現(xiàn)的維數(shù)估計(jì)方法，實(shí)現(xiàn)簡單，選擇合適的近鄰能取得不錯(cuò)的結(jié)果。但當(dāng)近鄰數(shù)過小或過大時(shí)，均有比較明顯的偏差。其根本原因是沒有考慮每個(gè)點(diǎn)對固有維數(shù)的貢獻(xiàn)是不同的。本文充分考慮了數(shù)據(jù)集的分布信息，提出了一種自適應(yīng)極大似然估計(jì)(AMLE)。實(shí)驗(yàn)證明，無論在模擬數(shù)據(jù)集還是真實(shí)數(shù)據(jù)集上

5、，AMLE較MLE在估計(jì)準(zhǔn)確度上均有很大的提高。對近鄰數(shù)的變化也不甚敏感。 (3)等距特征映射(Isomap)是一種有代表性的流形學(xué)習(xí)算法，該算法高效、簡單，但計(jì)算復(fù)雜度較高?；诮鐦?biāo)點(diǎn)的L-Isomap減少了計(jì)算復(fù)雜度，但對于界標(biāo)點(diǎn)的選取，大都采用隨機(jī)的方法，致使該算法不穩(wěn)定。本文考慮到樣本點(diǎn)和近鄰點(diǎn)相對位置，將對嵌入流形影響較大的樣本點(diǎn)賦予較高的權(quán)重。然后根據(jù)權(quán)重大小選擇界標(biāo)點(diǎn)，同時(shí)考慮界標(biāo)點(diǎn)之間的相對位置，使得選出的界標(biāo)點(diǎn)

6、不會(huì)出現(xiàn)過度集中的現(xiàn)象，近似直線分布的概率也大大降低，從而保證了算法的穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，該算法在界標(biāo)點(diǎn)數(shù)量較少的情況下，比L-Isomap穩(wěn)定，且對缺失數(shù)據(jù)的不完整流形，也能獲取和Isomap相差不大的結(jié)果。 (4)高維數(shù)據(jù)中最常見的是圖像數(shù)據(jù)，如何度量圖像數(shù)據(jù)之間的距離是一項(xiàng)有挑戰(zhàn)性的工作。本文提出一種基于圖像距離的等距特征映射：IMD-Isomap。因?yàn)閳D像距離考慮了圖像的空間分布信息，實(shí)驗(yàn)結(jié)果表明IMD-Isomap比

7、IsomaP的可視化效果更好，尤其在添加噪聲的情況下。然后，結(jié)合泛化回歸神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)出一種分類器。結(jié)果表明，該分類器對噪聲表現(xiàn)出一定的魯棒性，均比KNN、Isomap或Eigenface的分類效果好。 (5)Isomap是無監(jiān)督的學(xué)習(xí)算法，本身不具備樣本外測試能力，因而不能直接用于分類。核Isomap是Isomap的改進(jìn)，利用核技巧獲得了泛化特性。將類別標(biāo)記信息集成到距離中，得到了加權(quán)距離。該距離使得同類點(diǎn)間的距離更近，不同類