支持向量機的核選擇.pdf

1、由Vapnik等人提出的支持向量機(Support Vector Machine，SVM)技術，由于具有極強的模型泛化能力，不會陷入局部極小點，以及很強的非線性處理能力等特點，近十年來取得了全面飛速的發(fā)展，獲得了大量成功的應用，已成為模式識別中最為活躍的研究領域之一。 當前，選擇合適的核函數(shù)及其參數(shù)(核選擇)已成為SVM進一步發(fā)展的關鍵點和難點。核函數(shù)決定了SVM的非線性處理能力，也決定著分類函數(shù)的構造，而對具體問題而言，選擇合

2、適的核函數(shù)及其參數(shù)，還存在著許多的實際困難。 針對SVM中的核選擇問題，本文對SVM的模型問題、特征空間線性可分的結構問題、核學習中基核的選擇問題、以及核函數(shù)及其參數(shù)的評判準則問題開展了深入的探討，主要的工作有： 1.在SVM的模型方面，給出了L2-范數(shù)下平分最近點原理問題；然后得到了它的解與最大間隔原理問題的解之間的關系，建立了它與最大間隔原理的等價性；指出它還具有模型性質更好、幾何意義更直觀、能利用求解凸包之間距離的

3、內(nèi)點算法等優(yōu)點；最后給出了它的SMO(Sequential minimal optimization)求解算法。 2.在特征空間線性可分的結構方面，利用平分最近點原理模型，通過對核矩陣零空間的深入分析，得出特征空間中樣本線性可分與核矩陣零空間關系的一個充要條件. 3.在基核矩陣的選取方面，首先提出矩陣的秩空間差異性(Rank SpaceDiversity，RSD)概念，其次將其作為基核矩陣的差異性度量，由此導出選擇基核矩

4、陣的一個定量規(guī)則“基核矩陣的秩空間差異性越大越好”。我們還給出了基于L2-范數(shù)下平分最近點原理的核學習模型和模型求解算法；最后通過實驗驗證了基核矩陣選擇規(guī)則的有效性。 4.在核函數(shù)及其參數(shù)的評判準則方面，首先從分類函數(shù)抗樣本擾動的“泛化性能”出發(fā)，分析了傳統(tǒng)最大間隔原理的不足，提出了分類函數(shù)的魯棒度概念；探討了魯棒度的性質；并提出用最大魯棒度作為核選擇的評判準則；通過與經(jīng)典的交叉驗證方法和最小支持向量數(shù)方法的實驗對比，表明最大魯