支持向量機(jī)和支持向量域描述的若干問題研究.pdf

1、支持向量機(jī)(Support Vector Maclune，SVM)是基于統(tǒng)計學(xué)習(xí)理論提出的一種新型有監(jiān)督模式識別方法.采用結(jié)構(gòu)風(fēng)險最小化原則，SVM在最大化分類間隔和最小化分類誤差之間取得折衷，以控制分類器的泛化能力.SVM較好地解決了小樣本、高維數(shù)及非線性等實際問題，具有擬合精度高、選擇參數(shù)少、推廣能力強(qiáng)和全局最優(yōu)等特點(diǎn).SVM成為機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)，并被廣泛應(yīng)用到模式識別、函數(shù)擬合和密度估計等領(lǐng)域，本文針對大規(guī)模樣本集的SVM

2、訓(xùn)練問題、SVM的集成學(xué)習(xí)問題、變形SVM問題、支持向量域描述(Support VectorDomain Description，SVDD)的快速訓(xùn)練問題等進(jìn)行研究，主要研究工作如下：
　　 1.研究了大規(guī)模樣本集的SVM訓(xùn)練算法.SVM在訓(xùn)練大規(guī)模樣本集時面臨著占用內(nèi)存多、計算代價大的問題，這也成為實際應(yīng)用的瓶頸問題，基于并行學(xué)習(xí)中“分而治之”的理念和“支持向量與全體訓(xùn)練樣本等價”的結(jié)論，提出一種同心超球面支持向量機(jī)(Hype

3、rsphere Support Vector Machine，HSVM). HSVM以相同層數(shù)的兩組同心超球面組對正負(fù)兩類樣本進(jìn)行分割，對分層間隔內(nèi)的樣本采用SVM訓(xùn)練，合并所有分層間隔中支持向量的并集以參與最終的SVM訓(xùn)練.HSVM既保持了SVM的分類精度又降低了SVM的訓(xùn)練時間。
　　 2.研究了SVM的集成學(xué)習(xí)算法，運(yùn)用集成學(xué)習(xí)的理念構(gòu)造了一種空間支持向量域分類器(Space Support Vector Domain C

4、lassifier，SSVDC)。選取支持向量域分類器(Support Vector Domain Classifier，SVDC)和K近鄰(K NearestNeighbor，KNN)作為子分類器，SSVDC以選擇集成的策略對兩者的預(yù)測結(jié)果進(jìn)行集成.SSVDC首先采用SVDD求得兩類樣本的最小包圍超球，并以超球的描述邊界將訓(xùn)練樣本劃分為互不相交的幾個區(qū)域；其次計算待測樣本到兩個最小包圍超球球心的距離，根據(jù)其與兩個最小包圍超球半徑的大小

5、關(guān)系判斷待測樣本所處區(qū)域；最后選擇相應(yīng)的子分類器得到最終的分類結(jié)果。由于子分類器均針對樣本的某個子集進(jìn)行訓(xùn)練，SSVDC具有較短的訓(xùn)練時間。由于根據(jù)樣本的分布選取相應(yīng)的子分類器，SSVDC具有較高的分類精度且其分類精度受核參數(shù)變化的影響不大，數(shù)值實驗驗證了SSVDC的有效性以及對比SVM和SVDC的優(yōu)越性.
　　 3.研究了變形SVM算法，通過改變原始優(yōu)化問題的函數(shù)項、變量或系數(shù)得到了一系列變形SVM算法，這在一定程度拓寬了SV

6、M的應(yīng)用范圍。針對變形SVM中的二次損失函數(shù)SVM，構(gòu)造一種光滑對角加權(quán)支持向量機(jī)(Smooth DiagonalWeighted Support Vector Machine，SDWSVM)。在線性空間中，直接運(yùn)用光滑技術(shù)得到光滑模型，也即采取Sigmoid函數(shù)的積分函數(shù)來逼近正號函數(shù)形式的松弛。在非線性空間中，先分別利用Lagrange乘子向量來代替分類超平面的權(quán)值向量和原。對偶規(guī)劃隱含的分類超平面的權(quán)值向量表達(dá)式對原規(guī)劃的目標(biāo)函數(shù)

7、進(jìn)行轉(zhuǎn)換，再利用光滑技術(shù)構(gòu)造光滑模型。對線性空間和非線性空間中得到的光滑模型，均采用Newton法求解，具有較高的效率。
　　 4.提出了一種約簡支持向量域描述算法(Reduced Support Vector DomainDescription，RSVDD)。SVDD的訓(xùn)練即為求解一個所含未知數(shù)個數(shù)等于全體訓(xùn)練樣本個數(shù)的凸二次規(guī)劃，為了提高SVDD的訓(xùn)練速度，RSVDD對每個樣本定義一種自中心距離比值，定義此值為該樣本到中心的

8、距離與所有樣本的平均中心距離的比值，并以此值作為判斷該樣本成為支持向量的可能性度量。RSVDD選取自中心距離比值較大的部分樣本參與SVDD訓(xùn)練，從而減少了待解QP的規(guī)模，該算法引入?yún)?shù)少，易于實現(xiàn)且保持了目標(biāo)類精度。
　　 5.提出了一種信賴支持向量域描述算法(Confdence Support Vector DomainDescription，CSVDD)。由于支持向量往往分布在SVDD的描述邊界附近，基于這個幾何特性，定義了