基于支持向量機(jī)的特征選擇及其分類算法研究.pdf

1、特征選擇是數(shù)據(jù)挖掘領(lǐng)域中一個(gè)重要的研究課題，特征選擇可以剔除學(xué)習(xí)過(guò)程中冗余的、無(wú)關(guān)的和有噪聲的特征，從而得到一個(gè)維數(shù)最少而判別能力更強(qiáng)的信息特征子集?？梢杂兄谔岣吣Ｊ阶R(shí)別的識(shí)別率，機(jī)器學(xué)習(xí)算法的精度及其泛化能力。隨著大規(guī)模數(shù)據(jù)的不斷增長(zhǎng)，不僅樣本數(shù)很大，而且樣本的特征維數(shù)也很高。在此情況下，分類算法的時(shí)間復(fù)雜度會(huì)隨著不相關(guān)特征或噪聲數(shù)據(jù)成指數(shù)增長(zhǎng)，不僅會(huì)造成維數(shù)災(zāi)難(Curse of Dimensionality)，也會(huì)造成降低分類算

2、法的效果，因此有必要進(jìn)行特征選擇。一個(gè)特征選擇的過(guò)程在原理上可以看成是一個(gè)組合優(yōu)化過(guò)程，在原有的特征中選擇其中的一部分，使某個(gè)特定的評(píng)價(jià)函數(shù)最優(yōu)。但傳統(tǒng)基于支持向量機(jī)的特征選擇算法精度低并且時(shí)間復(fù)雜度高，本文重點(diǎn)研究了基于支持向量機(jī)的特征選擇及其分類算法的基本概念和相關(guān)理論基礎(chǔ)，提出了3個(gè)SVM-RFE特征選擇算法的改進(jìn)算法。為了避免SVM-RFE特征選擇算法在特征空間搜索過(guò)程效率較低的缺陷，在基于SVM-RFE的特征選擇算法中結(jié)合了模

3、式識(shí)別領(lǐng)域的兩種重要的特征選擇方法過(guò)濾(Filter)和封裝(Wrapper)的優(yōu)點(diǎn)，得到SVM-RFE的特征選擇改進(jìn)算法(A-SVM-RFE)，并且利用相關(guān)的數(shù)學(xué)知識(shí)和原理分析了SVM-RFE特征選擇算法不能剔除線性冗余特征的情況，利用相關(guān)系數(shù)的方法剔除冗余特征進(jìn)一步改進(jìn)了SVM-RFE算法(AD-SVM-RFE)。受到Weston等人在特征選擇算法中利用梯度下降法來(lái)優(yōu)化特征搜索策略的啟發(fā)，本文也在SVM-RFE特征選擇算法中應(yīng)用了梯