單分類(lèi)支持向量機(jī)的學(xué)習(xí)方法研究.pdf

1、支持向量機(jī)(SupportVectorMachine，SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來(lái)的新型機(jī)器學(xué)習(xí)算法。SVM采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，同時(shí)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍，具有擬合精度高、選擇參數(shù)少、推廣能力強(qiáng)和全局最優(yōu)等優(yōu)勢(shì)。SVM為解決小樣本、高維數(shù)及非線(xiàn)性等問(wèn)題提供了有效工具，已成為機(jī)器學(xué)習(xí)領(lǐng)域中研究熱點(diǎn)之一并得到了廣泛應(yīng)用。
　　 SVM是針對(duì)二分類(lèi)問(wèn)題提出的，需要兩種類(lèi)別的樣本作為訓(xùn)練樣本。在實(shí)際應(yīng)用中，有些領(lǐng)域幾乎無(wú)

2、法獲取兩類(lèi)的樣本或者代價(jià)極高，如敵我識(shí)別、攻擊樣本、衛(wèi)星故障等，只能獲取一個(gè)類(lèi)別的樣本，故只能利用這一類(lèi)樣本進(jìn)行學(xué)習(xí)，形成數(shù)據(jù)描述從而實(shí)現(xiàn)分類(lèi)，故出現(xiàn)了單分類(lèi)算法。
　　 支持向量數(shù)據(jù)描述(SupportVectorDataDescription，SVDD)和一類(lèi)支持向量機(jī)(one-classsupportvectormachine，OCSVM)是SVM算法擴(kuò)展成的單分類(lèi)算法。在相同的高斯核函數(shù)作用下，兩種算法完全等價(jià)，合稱(chēng)之為

3、單分類(lèi)支持向量機(jī)(1-SVM)?！肮び破涫?，必先利其器”。要使1-SVM能更好地應(yīng)用于實(shí)際工程問(wèn)題，首先需要解決1-SVM的訓(xùn)練或?qū)W習(xí)問(wèn)題，其過(guò)程實(shí)際上是求解一個(gè)二次規(guī)劃(OP)問(wèn)題。本文以提高1-SVM的學(xué)習(xí)能力為目標(biāo)，分別對(duì)1-SVM的粒子群優(yōu)化學(xué)習(xí)、快速學(xué)習(xí)以及增量學(xué)習(xí)三個(gè)方面進(jìn)行了研究，并提出了相應(yīng)的解決方案，主要工作如下:
　　 提出將粒子群優(yōu)化算法(PSO)的一種擴(kuò)展算法——線(xiàn)性粒子群優(yōu)化算法(LPSO)應(yīng)用到1-

4、SVM的學(xué)習(xí)上。為了解決粒子飛行到群體最優(yōu)位置容易陷入停滯狀態(tài)而過(guò)早收斂的問(wèn)題，采用改變?nèi)后w最優(yōu)粒子飛行方式的策略，使群體最優(yōu)粒子與其他粒子按照不同的方式飛行，改善了LPSO算法的收斂性能，并將此方法應(yīng)用到LPSO學(xué)習(xí)1-SVM的過(guò)程中。LPSO為解決1-SVM的學(xué)習(xí)問(wèn)題提供了新思路。
　　 針對(duì)1-SVM的大規(guī)模樣本集的學(xué)習(xí)問(wèn)題，受啟發(fā)于隨機(jī)取樣算法在凸二次規(guī)劃問(wèn)題的成功應(yīng)用，提出了一種基于隨機(jī)取樣算法的快速學(xué)習(xí)方法。隨機(jī)選取

5、大規(guī)模樣本集的兩個(gè)樣本子，依據(jù)隨機(jī)取樣引理和推導(dǎo)出的隨機(jī)結(jié)合定理，對(duì)兩個(gè)子集自身的支持向量(極值點(diǎn)，extreme)和相互間違背KKT條件的樣本（外點(diǎn)，violator)進(jìn)行融合，最后學(xué)習(xí)出兩個(gè)子集共同的新決策邊界。以此類(lèi)推，直到全部樣本抽取和融合完畢。此方法將大規(guī)模樣本分批抽取為小樣本集并對(duì)每一個(gè)小樣本集進(jìn)行1-SVM學(xué)習(xí)，降低了1-SVM學(xué)習(xí)的內(nèi)存空間和計(jì)算時(shí)間，是一種有效的快速學(xué)習(xí)方法。
　　 為了實(shí)現(xiàn)1-SVM的增量學(xué)習(xí)

6、過(guò)程，分析了一類(lèi)支持向量機(jī)(OCSVM)的幾何表示特性，提出了一種基于德?tīng)査瘮?shù)的增量學(xué)習(xí)方法。因?yàn)镺CSVM的幾何結(jié)構(gòu)僅僅有一個(gè)分類(lèi)超平面，在其分類(lèi)超平面的決策函數(shù)上添加一個(gè)德?tīng)査瘮?shù)能夠形成新的決策函數(shù)，即一個(gè)新的分類(lèi)超平面。根據(jù)新增樣本求解德?tīng)査瘮?shù)就是OCSVM的增量學(xué)習(xí)過(guò)程。受OCSVM二次規(guī)劃問(wèn)題的啟發(fā)，分析得到德?tīng)査瘮?shù)的優(yōu)化問(wèn)題同樣是二次規(guī)劃問(wèn)題，并提出利用修正的序貫最小優(yōu)化(SMO)算法進(jìn)行求解。
　　 簡(jiǎn)要介