基于k近鄰分類(lèi)準(zhǔn)則的特征變換算法研究.pdf

1、特征變換和測(cè)度學(xué)習(xí)在模式識(shí)別中具有十分重要意義。通過(guò)特征變換，可以得到樣本新的表示以及樣本間更合適的距離測(cè)度，從而更有利于后續(xù)處理，如聚類(lèi)和分類(lèi)等。不降低維數(shù)的測(cè)度學(xué)習(xí)算法通常是將樣本從輸入空間映射到一個(gè)維數(shù)相同的新空間，而具備降維能力的測(cè)度學(xué)習(xí)算法則是將樣本從輸入空間映射到一個(gè)較低維的新空間。 本文首先對(duì)標(biāo)準(zhǔn)正交變換、白化變換、主元分析和線性判別分析等特征變換進(jìn)行了比較深入的分析，試圖探討這些特征變換方法的本質(zhì)以及相互之間的聯(lián)

2、系。接著，對(duì)局部線性嵌入LLE和Laplacian特征映射等流形學(xué)習(xí)算法進(jìn)行了介紹。然后，提出了一種新的基于k近鄰分類(lèi)準(zhǔn)則的特征變換算法—判別近鄰嵌入算法DNE(Discriminant Neighborhood Embedding)。 DNE算法構(gòu)造一個(gè)判別鄰接矩陣來(lái)描述多類(lèi)樣本數(shù)據(jù)集的局部幾何結(jié)構(gòu)，利用該判別鄰接矩陣定義了一個(gè)代價(jià)函數(shù)，以求得一個(gè)最優(yōu)的變換矩陣，將樣本映射到新的空間。在新的空間中，樣本之間的距離測(cè)度發(fā)生了變化

3、，同類(lèi)近鄰樣本點(diǎn)會(huì)盡可能地靠近，異類(lèi)近鄰樣本點(diǎn)盡可能地遠(yuǎn)離。通過(guò)譜分析，DNE算法能夠估計(jì)出新空間的最佳維數(shù)，這是和其他很多相關(guān)算法的區(qū)別所在。 DNE算法能有效解決高維模式分類(lèi)中經(jīng)常存在的“維數(shù)災(zāi)難”問(wèn)題，且通過(guò)將樣本映射到一個(gè)低維空間，降低了k近鄰分類(lèi)器的計(jì)算代價(jià)。該算法是非參數(shù)的，不必假定樣本符合Gaussian分布，對(duì)不同分布的數(shù)據(jù)更具有適應(yīng)性；該算法是非迭代的，訓(xùn)練過(guò)程更有效率；且不存在高維小樣本情形下矩陣奇異的問(wèn)題。