支持向量機(jī)方法及其應(yīng)用研究.pdf

1、統(tǒng)計(jì)學(xué)習(xí)理論是針對(duì)小樣本情況下的機(jī)器學(xué)習(xí)理論，其核心思想是通過(guò)控制學(xué)習(xí)機(jī)器的復(fù)雜度，實(shí)現(xiàn)對(duì)學(xué)習(xí)機(jī)器推廣能力的控制。在這一理論基礎(chǔ)上發(fā)展起來(lái)的支持向量機(jī)(SVM)是一種新的通用機(jī)器學(xué)習(xí)方法，它較以往方法表現(xiàn)出很多理論和實(shí)踐上的優(yōu)勢(shì)，較好地解決了小樣本、非線性、高維和局部極小等問(wèn)題，在模式識(shí)別、回歸估計(jì)等很多領(lǐng)域都得到了廣泛的應(yīng)用?；貧wSVM是分類SVM用于解決回歸問(wèn)題的推廣形式。本文對(duì)回歸SVM的核函數(shù)構(gòu)造、參數(shù)選擇和訓(xùn)練算法進(jìn)行研究，并

2、利用SVM建立直升機(jī)的仿真模型，研究?jī)?nèi)容主要包括以下幾個(gè)方面：
　　首先，對(duì)SVM核函數(shù)的構(gòu)造和參數(shù)選擇進(jìn)行了研究。目前常用的核函數(shù)通過(guò)平移不能生成平方可積空間一組完備的基，因此SVM不能以任意精度逼近這個(gè)空間的任意非線性函數(shù)。針對(duì)這個(gè)問(wèn)題，利用Marr小波構(gòu)造了一種小波核函數(shù)，對(duì)其存在性進(jìn)行了證明，并采用改進(jìn)的混沌粒子群優(yōu)化算法對(duì)SVM的參數(shù)進(jìn)行選擇。仿真結(jié)果表明，利用這種核函數(shù)構(gòu)造的小波SVM，比利用高斯核函數(shù)構(gòu)造的SVM具有

3、更高的收斂精度。
　　其次，對(duì)訓(xùn)練SVM的序列最小優(yōu)化算進(jìn)行了研究。序列最小優(yōu)化算法一般采用KKT條件作為停機(jī)準(zhǔn)則，這種停機(jī)準(zhǔn)則在迭代優(yōu)化的后期進(jìn)展緩慢。根據(jù)凸二次優(yōu)化問(wèn)題在對(duì)偶間隙為零時(shí)取得最優(yōu)解這個(gè)性質(zhì)，對(duì)序列最小優(yōu)化算法的停機(jī)準(zhǔn)則進(jìn)行改進(jìn)，提出一種改進(jìn)的序列最小優(yōu)化算法。仿真結(jié)果表明，這種優(yōu)化算法在保持訓(xùn)練精度和測(cè)試精度不變的情況下，能有效提高算法的收斂速度。
　　然后，對(duì)訓(xùn)練SVM的在線算法進(jìn)行了研究。與批處理算法相

4、比，訓(xùn)練SVM的在線算法通常具有實(shí)現(xiàn)簡(jiǎn)單、運(yùn)行效率高等優(yōu)點(diǎn)。但是，目前在線算法通常需要考慮所有的訓(xùn)練樣本，而支持向量的數(shù)量隨訓(xùn)練樣本的加入至少是呈線性地增加，保留過(guò)多的支持向量將影響SVM的訓(xùn)練速度和預(yù)測(cè)速度。針對(duì)這個(gè)問(wèn)題，在已有的在線貪婪算法的基礎(chǔ)上，引入一個(gè)稱為預(yù)算參數(shù)的量，增加一個(gè)樣本的刪除過(guò)程，從而提出一種能縮減和控制支持向量數(shù)量的SVM在線訓(xùn)練算法。仿真結(jié)果表明，這種算法能有效縮減和控制支持向量的數(shù)量，提高了SVM在線算法的訓(xùn)