支持向量機(jī)方法及應(yīng)用研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展和Internet的廣泛普及,產(chǎn)生的數(shù)據(jù)量日益增多,如何從這些大量的數(shù)據(jù)中發(fā)現(xiàn)有用的信息來幫助人們對(duì)未知的現(xiàn)象作出正確的指導(dǎo)和預(yù)測(cè),就成為了十分迫切的課題,機(jī)器學(xué)習(xí)技術(shù)就在這種需求下應(yīng)運(yùn)而生.
　　統(tǒng)計(jì)學(xué)是現(xiàn)有機(jī)器學(xué)習(xí)方法的理論基礎(chǔ)之一,盡管傳統(tǒng)的統(tǒng)計(jì)學(xué)的理論體系比較完善,但是它需要事先知道樣本的分布形式,并要求樣本的個(gè)數(shù)趨于無窮多.但是在實(shí)際應(yīng)用中,樣本的數(shù)目是有限的,因此在某些問題的應(yīng)用中其效果并不理想.

2、基于此,統(tǒng)計(jì)學(xué)習(xí)理論是一門專門研究在有限樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論.Vapnik等人從20世紀(jì)60年代開始致力于此方面的研究,隨著其理論的不斷發(fā)展,逐漸形成了一個(gè)比較完善的理論體系.
　　Vapnik在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出支持向量機(jī)(Support Vector Machine,SVM),它克服了傳統(tǒng)機(jī)器學(xué)習(xí)方法僅考慮經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(Empirical Risk Minimization,ERM)原則的缺陷,SVM采用結(jié)構(gòu)風(fēng)

3、險(xiǎn)最小化(Structural Risk Minimization,SRM)原則對(duì)已有數(shù)據(jù)進(jìn)行學(xué)習(xí),通過求解凸二次規(guī)劃問題(Quadratic Programming,QP)得到全局最優(yōu)解,從理論上克服了神經(jīng)網(wǎng)絡(luò)中的過學(xué)習(xí)、局部最優(yōu)解等問題.它不但能解決小樣本的學(xué)習(xí)問題,而且通過引入核函數(shù)將數(shù)據(jù)映射到高維特征空間,克服了高維數(shù)據(jù)帶來的“維數(shù)災(zāi)難”.SVM的諸多優(yōu)點(diǎn)使其成為了機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn).
　　目前 SVM仍然存在很多問

4、題,這些問題也是研究熱點(diǎn).其主要問題存在于以下幾個(gè)方面:
　　1.參數(shù)選擇問題
　　無論是SVM分類還是回歸,如果參數(shù)選擇不當(dāng)則會(huì)降低模型的泛化性能,因此選擇較好的參數(shù)顯得尤為重要,例如在C-SVM中,如果懲罰參數(shù)C的值過大,則會(huì)導(dǎo)致過學(xué)習(xí),反之,如果C的值過小則會(huì)導(dǎo)致欠學(xué)習(xí).目前參數(shù)選擇理論一直受到廣泛關(guān)注,目前有進(jìn)化學(xué)習(xí)算法、網(wǎng)格算法、交叉驗(yàn)證等方法等.
　　2.算法的時(shí)間復(fù)雜度
　　自SVM提出以來,對(duì)它的

5、復(fù)雜度進(jìn)行改進(jìn)一直是研究熱點(diǎn),SVM可歸結(jié)為一個(gè)二次規(guī)劃問題,但因?yàn)樽杂勺兞總€(gè)數(shù)等于樣本個(gè)數(shù),所以當(dāng)樣本規(guī)模較大的時(shí),傳統(tǒng)的二次規(guī)劃方法將會(huì)非常耗時(shí).
　　3.核函數(shù)計(jì)算復(fù)雜度
　　對(duì)較大規(guī)模的數(shù)據(jù)來說,計(jì)算其核函數(shù)也并非易事,它需要所有樣本進(jìn)行內(nèi)積運(yùn)算操作.例如,在對(duì)SVM進(jìn)行非線性變換的時(shí)候,如果樣本數(shù)目過大,核矩陣的計(jì)算也將十分費(fèi)時(shí).
　　本文的主要?jiǎng)?chuàng)新成果有:
　　(1)為有效解決支持向量回歸中的參數(shù)選擇

6、問題,提出了新算法(AGA-SVR),在該算法中,通過適時(shí)增加染色體變異的概率來提高染色體的多樣性,克服了標(biāo)準(zhǔn)遺傳算法存在個(gè)體容易早熟的缺陷,從而增加學(xué)習(xí)到全局最優(yōu)的幾率.通過將AGA-SVR應(yīng)用于上證開盤指數(shù)預(yù)測(cè),驗(yàn)證了該算法優(yōu)于標(biāo)準(zhǔn)遺傳算法及經(jīng)典梯度下降算法.
　　(2)提出了一種新的算法TDMSVM(Twin Distance of Minimum and Maximum Support Vector Machine),通過

7、求解標(biāo)準(zhǔn)特征方程得到兩個(gè)最優(yōu)超平面,超平面滿足到本類樣例的平均距離最小化,同時(shí)到另一類樣例的平均距離最大化.通過理論分析和實(shí)驗(yàn)證明，TDMSVM有以下優(yōu)勢(shì):進(jìn)一步降低了時(shí)間復(fù)雜度;并且不需引入正則項(xiàng),故提高了泛化性能;克服了矩陣的奇異性。
　　(3)提出一種新的快速分類算法HSSVM(Hyper Sphere Support Vector Machine),用兩個(gè)超球分別擬合兩類樣本,只需用樣本的均值和方差作為參數(shù)得到分類模型,在