代價敏感的支持向量機(jī)監(jiān)督學(xué)習(xí)研究.pdf

1、監(jiān)督學(xué)習(xí)中的誤分類代價問題是近年來機(jī)器學(xué)習(xí)技術(shù)走向現(xiàn)實(shí)的過程中產(chǎn)生的。為了更好地解決真實(shí)世界中的此類問題，代價敏感學(xué)習(xí)成為國際機(jī)器學(xué)習(xí)界的一個研究熱點(diǎn)。支持向量機(jī)(Support Vector Machines，SVM)源于統(tǒng)計(jì)學(xué)習(xí)理論，是目前為止一種強(qiáng)有力的機(jī)器學(xué)習(xí)算法，但和傳統(tǒng)的決策樹、神經(jīng)網(wǎng)絡(luò)算法一樣，SVM不具有代價敏感性，不能直接用于代價敏感學(xué)習(xí)。因此，設(shè)計(jì)代價敏感的SVM，并盡可能的提高其性能顯得尤為重要。 本文以支

2、持SVM為主線，針對監(jiān)督學(xué)習(xí)中錯誤分類引起的代價問題，對實(shí)現(xiàn)代價敏感的SVM以及提高其性能方面做了如下工作： 1．在研究統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上，指出了SVM在監(jiān)督學(xué)習(xí)中優(yōu)于其他學(xué)習(xí)算法的原因，并實(shí)現(xiàn)了一種標(biāo)準(zhǔn)SVM的訓(xùn)練算法一SMO算法。 2．在實(shí)現(xiàn)SMO算法的基礎(chǔ)上，通過樣本類空間重構(gòu)的方式，設(shè)計(jì)并實(shí)現(xiàn)了基于隨機(jī)過取樣、SMOTE、欠取樣的三種代價敏感SVM。并且借鑒代價敏感神經(jīng)網(wǎng)絡(luò)集成方法，對三種代價敏感SVM分別進(jìn)行

3、了軟集成和硬集成。在采用軟集成時，針對SVM的特點(diǎn)采用了不同于神經(jīng)網(wǎng)絡(luò)的軟集成方法。試驗(yàn)結(jié)果表明：總體性能上，基于欠取樣的代價敏感SVM是一種非常好的方法：但是在數(shù)據(jù)集嚴(yán)重不平衡時，該方法是失效的，而軟集成在此類數(shù)據(jù)集時性能最好。另外還得出了一些更詳細(xì)的結(jié)論，為采用此類方式處理代價敏感問題提供了參考依據(jù)。 3．針對Lin等人提出的代價敏感SVM(CSSVM)，進(jìn)行了理論研究和實(shí)驗(yàn)測試，試驗(yàn)結(jié)果表明，雖然該方法可以有效降低總體錯誤