模式分類的K-近鄰方法.pdf

1、在模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域中，K-近鄰準(zhǔn)則有著廣泛的研究和應(yīng)用背景。在實(shí)際的應(yīng)用中，K-近鄰分類由于其直觀、簡(jiǎn)單、有效、易實(shí)現(xiàn)等特點(diǎn)，是一種常用的分類方法，被認(rèn)為是數(shù)據(jù)挖掘領(lǐng)域的十大算法之一。近些年來(lái)，在基于圖嵌入的降維中，很多圖嵌入算法都采用K-近鄰準(zhǔn)則來(lái)構(gòu)建數(shù)據(jù)的局部鄰接關(guān)系圖，如保局部投影(Locality Preserving Projections,LPP)及其變體，這種K-近鄰構(gòu)圖方式在高維的數(shù)據(jù)模式分類中取得了良

2、好的性能。本文圍繞模式分類的K-近鄰方法進(jìn)行研究和探討，其研究的內(nèi)容主要包括基于K-近鄰準(zhǔn)則的分類問題，K-近鄰準(zhǔn)則在基于圖嵌入的降維技術(shù)中的應(yīng)用。本文的主要?jiǎng)?chuàng)新點(diǎn)如下：
　　1．針對(duì)基于 K-近鄰準(zhǔn)則的非參數(shù)分類算法的分類性能受訓(xùn)練樣本局外點(diǎn)的嚴(yán)重影響，尤其是在小樣本的情況下，設(shè)計(jì)了基于局部均值的 K-近質(zhì)心近鄰(Local Mean-Based K-Nearest Centroid Neighbor, LMKNCN)分類算法。

3、LMKNCN考慮了待測(cè)樣本點(diǎn)在每類訓(xùn)練集中的k個(gè)近鄰點(diǎn)與其自身所具有的相似性和空間幾何分布性，同時(shí)利用從每類訓(xùn)練樣本中所選取的k個(gè)近鄰點(diǎn)的局部均值大小，來(lái)判斷未知樣本所屬類別。所提算法不僅具有基于局部均值的 K-近鄰(Local Mean-Based K-Nearest Neighbor, LMKNN)分類在局外點(diǎn)存在的情況下所表現(xiàn)出的穩(wěn)健性，而且具有K-近質(zhì)心近鄰(K-Nearest Centroid Neighbor, KNCN)分

4、類在小樣本情況下所表現(xiàn)的有效性。大量的真實(shí)和人工數(shù)據(jù)集上的實(shí)驗(yàn)表明了LMKNCN算法在訓(xùn)練集樣本個(gè)數(shù)、近鄰選擇個(gè)數(shù)和特征維度變化的情況下，都取得了良好的分類效果。
　　2．針對(duì)基于圖嵌入的降維方法中存在的小樣本問題、外樣本問題、局部過(guò)學(xué)習(xí)問題，提出了一種新的有監(jiān)督的圖嵌入學(xué)習(xí)算法，即保局判別近鄰嵌入(Locality-PreservedDiscriminant Neighborhood Embedding, LDNE)。LDNE將

5、保局部投影和判別近鄰嵌入(Discriminant Neighborhood Embedding, DNE)整合在統(tǒng)一的學(xué)習(xí)模型中，使其獲得的圖嵌入，較好的反映了高維數(shù)據(jù)所隱含的本質(zhì)流形結(jié)構(gòu)，不僅具有LPP的保局部特點(diǎn)和DNE的判別能力，還進(jìn)一步增強(qiáng)了模式之間的判別信息。高維數(shù)據(jù)集上的一系列實(shí)驗(yàn)充分驗(yàn)證了LDNE是一種有效的降維算法，增強(qiáng)了高維數(shù)據(jù)在低維嵌入子空間的模式識(shí)別能力。
　　3．在保局部投影的降維算法中，近鄰圖的構(gòu)造與權(quán)

6、重的配置起著至關(guān)重要的作用。鑒于此，根據(jù) LPP的保局部思想，提出了最大近鄰間隔判別投影(Maximum Neighborhood Margin Discriminant Projection, MNMDP)算法。在MNMDP方法中，近鄰邊權(quán)重的定義，充分考慮了樣本的類別信息，進(jìn)而定義類內(nèi)近鄰散度和類間近鄰散度，同時(shí)在目標(biāo)函數(shù)優(yōu)化時(shí)，利用最大間隔準(zhǔn)則(MaximumMargin Criterion, MMC)，最大化同類近鄰和異類近鄰之

7、間的間隔，從而找到高維數(shù)據(jù)在低維空間的圖嵌入。MNMDP不僅能解決圖嵌入降維中存在的相關(guān)問題，而且提高了模式之間的判別能力。在基于手的生物鑒定數(shù)據(jù)集上的實(shí)驗(yàn)，驗(yàn)證了MNMDP算法的有效性。
　　4．將稀疏構(gòu)圖和近鄰構(gòu)圖有機(jī)結(jié)合起來(lái)，在稀疏保持投影(Sparsity Preserving Projections, SPP)和LPP的基礎(chǔ)上，提出了稀疏保局投影(Sparsity Locality Preserving Projecti