支持向量機(jī)和支持向量域描述的若干問(wèn)題研究.pdf

1、支持向量機(jī)(Support Vector Maclune，SVM)是基于統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新型有監(jiān)督模式識(shí)別方法.采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，SVM在最大化分類間隔和最小化分類誤差之間取得折衷，以控制分類器的泛化能力.SVM較好地解決了小樣本、高維數(shù)及非線性等實(shí)際問(wèn)題，具有擬合精度高、選擇參數(shù)少、推廣能力強(qiáng)和全局最優(yōu)等特點(diǎn).SVM成為機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)，并被廣泛應(yīng)用到模式識(shí)別、函數(shù)擬合和密度估計(jì)等領(lǐng)域，本文針對(duì)大規(guī)模樣本集的SVM

2、訓(xùn)練問(wèn)題、SVM的集成學(xué)習(xí)問(wèn)題、變形SVM問(wèn)題、支持向量域描述(Support VectorDomain Description，SVDD)的快速訓(xùn)練問(wèn)題等進(jìn)行研究，主要研究工作如下：
　　 1.研究了大規(guī)模樣本集的SVM訓(xùn)練算法.SVM在訓(xùn)練大規(guī)模樣本集時(shí)面臨著占用內(nèi)存多、計(jì)算代價(jià)大的問(wèn)題，這也成為實(shí)際應(yīng)用的瓶頸問(wèn)題，基于并行學(xué)習(xí)中“分而治之”的理念和“支持向量與全體訓(xùn)練樣本等價(jià)”的結(jié)論，提出一種同心超球面支持向量機(jī)(Hype

3、rsphere Support Vector Machine，HSVM). HSVM以相同層數(shù)的兩組同心超球面組對(duì)正負(fù)兩類樣本進(jìn)行分割，對(duì)分層間隔內(nèi)的樣本采用SVM訓(xùn)練，合并所有分層間隔中支持向量的并集以參與最終的SVM訓(xùn)練.HSVM既保持了SVM的分類精度又降低了SVM的訓(xùn)練時(shí)間。
　　 2.研究了SVM的集成學(xué)習(xí)算法，運(yùn)用集成學(xué)習(xí)的理念構(gòu)造了一種空間支持向量域分類器(Space Support Vector Domain C

4、lassifier，SSVDC)。選取支持向量域分類器(Support Vector Domain Classifier，SVDC)和K近鄰(K NearestNeighbor，KNN)作為子分類器，SSVDC以選擇集成的策略對(duì)兩者的預(yù)測(cè)結(jié)果進(jìn)行集成.SSVDC首先采用SVDD求得兩類樣本的最小包圍超球，并以超球的描述邊界將訓(xùn)練樣本劃分為互不相交的幾個(gè)區(qū)域；其次計(jì)算待測(cè)樣本到兩個(gè)最小包圍超球球心的距離，根據(jù)其與兩個(gè)最小包圍超球半徑的大小

5、關(guān)系判斷待測(cè)樣本所處區(qū)域；最后選擇相應(yīng)的子分類器得到最終的分類結(jié)果。由于子分類器均針對(duì)樣本的某個(gè)子集進(jìn)行訓(xùn)練，SSVDC具有較短的訓(xùn)練時(shí)間。由于根據(jù)樣本的分布選取相應(yīng)的子分類器，SSVDC具有較高的分類精度且其分類精度受核參數(shù)變化的影響不大，數(shù)值實(shí)驗(yàn)驗(yàn)證了SSVDC的有效性以及對(duì)比SVM和SVDC的優(yōu)越性.
　　 3.研究了變形SVM算法，通過(guò)改變?cè)純?yōu)化問(wèn)題的函數(shù)項(xiàng)、變量或系數(shù)得到了一系列變形SVM算法，這在一定程度拓寬了SV

6、M的應(yīng)用范圍。針對(duì)變形SVM中的二次損失函數(shù)SVM，構(gòu)造一種光滑對(duì)角加權(quán)支持向量機(jī)(Smooth DiagonalWeighted Support Vector Machine，SDWSVM)。在線性空間中，直接運(yùn)用光滑技術(shù)得到光滑模型，也即采取Sigmoid函數(shù)的積分函數(shù)來(lái)逼近正號(hào)函數(shù)形式的松弛。在非線性空間中，先分別利用Lagrange乘子向量來(lái)代替分類超平面的權(quán)值向量和原。對(duì)偶規(guī)劃隱含的分類超平面的權(quán)值向量表達(dá)式對(duì)原規(guī)劃的目標(biāo)函數(shù)

7、進(jìn)行轉(zhuǎn)換，再利用光滑技術(shù)構(gòu)造光滑模型。對(duì)線性空間和非線性空間中得到的光滑模型，均采用Newton法求解，具有較高的效率。
　　 4.提出了一種約簡(jiǎn)支持向量域描述算法(Reduced Support Vector DomainDescription，RSVDD)。SVDD的訓(xùn)練即為求解一個(gè)所含未知數(shù)個(gè)數(shù)等于全體訓(xùn)練樣本個(gè)數(shù)的凸二次規(guī)劃，為了提高SVDD的訓(xùn)練速度，RSVDD對(duì)每個(gè)樣本定義一種自中心距離比值，定義此值為該樣本到中心的

8、距離與所有樣本的平均中心距離的比值，并以此值作為判斷該樣本成為支持向量的可能性度量。RSVDD選取自中心距離比值較大的部分樣本參與SVDD訓(xùn)練，從而減少了待解QP的規(guī)模，該算法引入?yún)?shù)少，易于實(shí)現(xiàn)且保持了目標(biāo)類精度。
　　 5.提出了一種信賴支持向量域描述算法(Confdence Support Vector DomainDescription，CSVDD)。由于支持向量往往分布在SVDD的描述邊界附近，基于這個(gè)幾何特性，定義了