支持向量機(jī)多類分類算法研究.pdf

1、支持向量機(jī)(SVM)為一種由Vapnik等人研發(fā)出的機(jī)器學(xué)習(xí)方法,是面向小樣本進(jìn)行學(xué)習(xí)而提出的方法。它在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展而來(lái),由于繼承了其結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則和VC維理論,可以很好的解決訓(xùn)練誤差過(guò)小反而導(dǎo)致推廣能力下降的問(wèn)題,提高了學(xué)習(xí)方法對(duì)未來(lái)輸出進(jìn)行正確預(yù)測(cè)的能力。正是支持向量機(jī)的這些優(yōu)點(diǎn),這種學(xué)習(xí)方法得到了眾多學(xué)者的高度關(guān)注,已成為研究的重點(diǎn)推動(dòng)著機(jī)器學(xué)習(xí)的發(fā)展。支持向量機(jī)的發(fā)展起源是解決兩類分類的問(wèn)題,可在實(shí)際中主要的情況

2、是對(duì)多類加以分類,因此,如何將其推向多類處理問(wèn)題成為當(dāng)今一項(xiàng)十分重要的研究方向。
　　 本文對(duì)支持向量機(jī)的支撐理論統(tǒng)計(jì)學(xué)習(xí)理論進(jìn)行了關(guān)鍵理論的闡述,并在此基礎(chǔ)上論述了支持向量機(jī)算法,對(duì)支持向量機(jī)的分類原理進(jìn)行了論述。在明確支持向量機(jī)原理的基礎(chǔ)上,總結(jié)了關(guān)于支持向量機(jī)多類分類方法的國(guó)內(nèi)外研究成果,包涵有“一對(duì)一”、二叉樹(shù)、“一對(duì)多”、決策有向無(wú)環(huán)圖等多種方法。分析對(duì)比了各個(gè)方法的優(yōu)點(diǎn)和不足,并對(duì)它們的分類性能做出總結(jié)。
　　

3、 通過(guò)分析各個(gè)多類分類方法,總結(jié)出了二叉樹(shù)方法具有最優(yōu)的多類分類性能,尤其是對(duì)于大規(guī)模多類分類問(wèn)題。本文針對(duì)二叉樹(shù)方法的關(guān)鍵性問(wèn)題,即樹(shù)層次結(jié)構(gòu)的劃分提出了改進(jìn)的向量投影方法,利用此方法度量類間可分性的大小,并將易分的類放在樹(shù)的上層節(jié)點(diǎn)中,從而減少誤差累積現(xiàn)象對(duì)分類精度的影響。二叉樹(shù)的另一個(gè)問(wèn)題是某些節(jié)點(diǎn)處存在不平衡數(shù)據(jù)分類現(xiàn)象,本文利用改進(jìn)的SMOTE向上采樣方法對(duì)不平衡數(shù)據(jù)集進(jìn)行采樣。本方法不改變樣本集分布特性,并且降低了因隨機(jī)采