模式識別的核方法研究.pdf

1、模式識別是一門以應(yīng)用為基礎(chǔ)的學(xué)科，模式識別研究的理論和方法在很多方面得到了成功的應(yīng)用，所有這些應(yīng)用都是和問題的性質(zhì)密不可分的，至今還沒有發(fā)展成統(tǒng)一有效的可應(yīng)用于所有問題的模式識別方法。由于大量實際的模式識別問題是具有多類別的高維復(fù)雜模式的識別，因此研究復(fù)雜模式的分析和分類方法是必要而且有意義的。 基于核函數(shù)的學(xué)習(xí)方法（簡稱為核方法）是從統(tǒng)計學(xué)習(xí)理論中發(fā)展出來的較新的學(xué)習(xí)方法，它有效克服了傳統(tǒng)模式識別方法的局部極小化和不完全統(tǒng)計分

2、析的缺點(diǎn)。核方法本質(zhì)上是非線性的信息處理工具，它在處理具有非線性關(guān)系的高維復(fù)雜模式識別問題時，有著其它學(xué)習(xí)方法無法比擬的優(yōu)越性。核方法的研究和應(yīng)用目前正方興未艾，新的算法不斷地被提出，但是作為一種尚未成熟的技術(shù)，仍然存在著許多不完善和有待解決的問題，如核函數(shù)的構(gòu)造和選擇、多類分類等問題，因此研究基于核方法的復(fù)雜模式識別理論具有重要的意義。 本論文研究的內(nèi)容主要側(cè)重于如何用核方法實現(xiàn)高維多模式對象的特征提取和模式分類，論文所作的工

3、作包括以下幾部分內(nèi)容： 1．針對奇異情況下如何更好地解決核Fisher描述分析中非線性最優(yōu)鑒別矢量集的求解問題，提出了改進(jìn)的核直接描述分析（IKDDA）方法。根據(jù)再生核理論，定義核類內(nèi)散度矩陣和核類間散度矩陣，將高維特征空間中的Fisher描述準(zhǔn)則函數(shù)轉(zhuǎn)化為核Fisher描述準(zhǔn)則函數(shù)?；谕瑯?gòu)映射原理和奇異值分解定理，在一個更小的空間內(nèi)將核Fisher描述準(zhǔn)則函數(shù)的極大值問題轉(zhuǎn)化為其倒數(shù)的極小值問題，使最終的解不需要分開考慮核類

4、內(nèi)散度矩陣的零空間和非零空間。在ORL和UMIST人臉庫上的實驗結(jié)果表明了IKDDA方法與其他方法相比具有較低的誤識率和較快的運(yùn)行速度。 2．針對高維、小樣本模式識別中的特征提取問題，提出了一種約束線性描述分析方法（CLDA）。以線性變換后樣本的類內(nèi)距離與類間距離之比最小作為準(zhǔn)則函數(shù)，同時加上約束條件使變換后的樣本中心沿著特定的正交方向，通過白化變換、Gram—Schimdt正交化和正交子空間投影求解約束準(zhǔn)則函數(shù)得到最優(yōu)變換矩陣

5、。針對人臉識別的小樣本問題，根據(jù)奇異值分解定理實現(xiàn)白化變換。運(yùn)用核技巧，將CLDA推廣到非線性的約束核描述分析（CKDA），給出了原理與算法過程。對ORL和UMIST人臉庫進(jìn)行了仿真研究，結(jié)果表明CLDA方法和CKDA方法的有效性。 3．針對如何有效地設(shè)計決策樹支持向量機(jī)（SVM）多類分類器的層次結(jié)構(gòu)這個關(guān)鍵問題，提出了一種基于向量投影的類間可分性測度的設(shè)計方法，并給出了基于該類間可分性測度設(shè)計決策樹SVM多類分類器層次結(jié)構(gòu)的偏

6、二叉樹方法和完全二叉樹方法。為了加快每個SVM子分類器的訓(xùn)練速度且保持其高推廣性，將改進(jìn)的基于向量投影的支持向量預(yù)選取方法用于每個子分類器的訓(xùn)練中。對不同類型的數(shù)據(jù)的仿真實驗，結(jié)果表明新方法有效地提高了決策樹SVM多分類器的分類精度和速度。 4．提出了改進(jìn)的基于投影和三角不等式的k近鄰搜索法以及改進(jìn)的基于向量投影的邊界向量預(yù)選取方法。針對樣本總體分布已知的分類問題，提出了一種新的分類方法。通過非線性映射將訓(xùn)練樣本映射到高維特征空