基于核函數(shù)的錯(cuò)誤分類樣例研究.pdf

1、統(tǒng)計(jì)學(xué)習(xí)理論綜合了機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、及神經(jīng)網(wǎng)絡(luò)等方面的技術(shù)，通過利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，在經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的同時(shí)，有效地提高了算法的泛化能力，并且統(tǒng)計(jì)學(xué)習(xí)理論為機(jī)器學(xué)習(xí)中的小樣本情況提供了有力的理論基礎(chǔ)。
　　20世紀(jì)90年代 VaPnik等學(xué)者基于統(tǒng)計(jì)學(xué)習(xí)理論和核技術(shù)提出了一種新的機(jī)器學(xué)習(xí)方法支持向量機(jī)(Support Vector Machine，SVM)，該方法是建立在結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)之上的，其核心思想是通過引入核函數(shù)

2、技巧，把低維空間線性不可分問題，映射成高維空間線性可分問題，它能較好的解決非線性、高維識(shí)別、小樣本和局部極小點(diǎn)等問題。SVM的發(fā)展，不但豐富和發(fā)展了統(tǒng)計(jì)學(xué)理論，而且在很多應(yīng)用領(lǐng)域得到應(yīng)用和推廣，如:文本分類、手寫體識(shí)別、人臉識(shí)別、WEB挖掘、回歸分析等。如何進(jìn)一步改進(jìn)支持向量機(jī)的性能，一直以來都是模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域關(guān)注和研究的熱點(diǎn)。
　　核函數(shù)的支持向量機(jī)在分類和回歸等方面雖然都已經(jīng)取得了很好的效果，但由于人們在利用核函數(shù)的支

3、持向量機(jī)對數(shù)據(jù)分析時(shí)，往往只是注意和利用正確的分類數(shù)據(jù)信息，卻忽略了錯(cuò)誤分類數(shù)據(jù)中的有用信息，并且核函數(shù)的支持向量機(jī)的分類效果對核函數(shù)和核參數(shù)的選擇具有很大的依賴性。因此如何利用核函數(shù)來有效地發(fā)掘錯(cuò)誤分類數(shù)據(jù)中的有用信息來提高分類器的分類和預(yù)測能力具有很好的現(xiàn)實(shí)意義。
　　本文在核函數(shù)的支持向量機(jī)基礎(chǔ)上，通過利用錯(cuò)誤分類樣例中的有效信息，完成了以下方面的工作:
　　1.對支持向量機(jī)理論和算法進(jìn)行了介紹和研究，簡要介紹了核函數(shù)

4、的發(fā)展歷史、理論基礎(chǔ)和基本思想；介紹了機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí)理論基本知識(shí)。
　　2.在核函數(shù)支持向量機(jī)基礎(chǔ)上，提出了一種基于感知器的SVM分類模型(Support Vector Machine Classification based on Perceptron，PSVM)，該模型在對分類器的訓(xùn)練中，引入感知器分類思想，其先利用SVM的核函數(shù)進(jìn)行核計(jì)算，判斷其分類性能，分類正確則不做任何修改，反之則轉(zhuǎn)化成感知器分類問題。實(shí)驗(yàn)結(jié)果表明該

5、模型不但能提高 SVM的分類性能，而且還可以降低SVM分類性能對核函數(shù)及參數(shù)選擇的依賴性。
　　3.在核函數(shù)支持向量機(jī)基礎(chǔ)上，通過利用差分進(jìn)化算法中的數(shù)據(jù)處理操作，提出了一種基于差分進(jìn)化算法的SVM分類模型(Support Vector Machine Classification based on Differential Evolution，DSVM)。該模型通過利用支持向量機(jī)的支持向量，結(jié)合差分進(jìn)化算法中的數(shù)據(jù)變異、交叉操作