快速核方法設計與PCA之特征選擇應用.pdf

1、核方法是20世紀90年代模式識別與機器學習領域興起的一場技術性革命。其優(yōu)勢在于核方法允許研究者在原始數(shù)據(jù)對應的高維特征空間使用線性方法來分析和解決問題，不需要直接對數(shù)據(jù)進行映射。但是應當指出，核方法在對待測樣本進行特征抽取時，需要計算其與所有訓練樣本間的核函數(shù),因此訓練樣本的個數(shù)直接制約了核方法的特征抽取效率,在實際的大樣本集分類應用中，該方法的特征抽取率將非常低，甚至難以應用。因此在保證識別率的前提下，尋求提高核方法的特征抽取效率的工

2、作是非常有現(xiàn)實意義的。本文根據(jù)對核方法目前研究現(xiàn)狀的分析，對KMSE方法提出兩種改進方案，并通過matlab仿真實驗證實了這些方案的有效性。另外本文還提出一種基于PCA的特征選擇方案，并在人臉數(shù)據(jù)庫上做了對比實驗。本文的主要研究內(nèi)容及結果如下：
　　（1）結合在特征空間中“關鍵樣本”應能較好代表訓練集的思路，提出一種聯(lián)合KPCA與KMSE的快速分類方案。首先用KPCA方法選出第一個“關鍵節(jié)點”，并依次選出“候選樣本集”，然后判斷候

3、選樣本集中樣本的相關性大小，從而從中選出最不相關的一部分“關鍵節(jié)點”，最后利用這部分“關鍵節(jié)點”與KMSE方法對測試集進行分類。實驗在7個基準數(shù)據(jù)庫上進行，與原KMSE方法相比較，我們的方法僅僅用了只占訓練樣本1.71％～30%的“關鍵樣本”，就得到了相當于原KMSE方法的正確率，時間上也比原KMSE方法提高了26.31%～81.42%。
　?。?）同樣使用“關鍵樣本”的概念，提出一種基于條件數(shù)的KMSE改進方案。本方案包含兩部分

4、：第一部分根據(jù)條件數(shù)越小，解的數(shù)值穩(wěn)定性越好的性質(zhì)，依次在訓練樣本中選取出使得核矩陣的條件數(shù)小的那些“關鍵樣本”；第二部分利用這些“關鍵樣本”構造KMSE模型進行分類。實驗在3個基準數(shù)據(jù)庫上進行，與原KMSE方法相比較，僅僅用2.5%～12.14%的訓練樣本，就得到了相當于原KMSE方法的正確率，時間效率上比原KMSE方法提高了65.55%～95.88%。
　?。?）給出了一種PCA應用于特征選擇的多類別分類方案，并利用特征選擇和

5、特征提取的聯(lián)合方案進行了人臉識別實驗。為了實驗充分，對比了四種不同實驗方案下的實驗結果,包括取不同的訓練樣本與測試樣本比例，取不同的特征選擇維數(shù)和特征抽取維數(shù)等。結果表明，在AR數(shù)據(jù)庫上考慮光照、表情以及遮擋物的變化時，我們的實驗方案獲得的分類正確率普遍有所提高。
　　（4）我們還用KMSE方法對夾芯板超聲檢傷數(shù)據(jù)進行了分類實驗，數(shù)據(jù)分為6種，有無損傷的夾心板超聲波數(shù)據(jù)、上層鋼板與芯材脫膠時的數(shù)據(jù)、下層鋼板與芯材脫膠時的數(shù)據(jù)、還有