代價敏感的支持向量機監(jiān)督學習研究.pdf

1、監(jiān)督學習中的誤分類代價問題是近年來機器學習技術走向現(xiàn)實的過程中產(chǎn)生的。為了更好地解決真實世界中的此類問題，代價敏感學習成為國際機器學習界的一個研究熱點。支持向量機(Support Vector Machines，SVM)源于統(tǒng)計學習理論，是目前為止一種強有力的機器學習算法，但和傳統(tǒng)的決策樹、神經(jīng)網(wǎng)絡算法一樣，SVM不具有代價敏感性，不能直接用于代價敏感學習。因此，設計代價敏感的SVM，并盡可能的提高其性能顯得尤為重要。 本文以支

2、持SVM為主線，針對監(jiān)督學習中錯誤分類引起的代價問題，對實現(xiàn)代價敏感的SVM以及提高其性能方面做了如下工作： 1．在研究統(tǒng)計學習理論的基礎上，指出了SVM在監(jiān)督學習中優(yōu)于其他學習算法的原因，并實現(xiàn)了一種標準SVM的訓練算法一SMO算法。 2．在實現(xiàn)SMO算法的基礎上，通過樣本類空間重構的方式，設計并實現(xiàn)了基于隨機過取樣、SMOTE、欠取樣的三種代價敏感SVM。并且借鑒代價敏感神經(jīng)網(wǎng)絡集成方法，對三種代價敏感SVM分別進行

3、了軟集成和硬集成。在采用軟集成時，針對SVM的特點采用了不同于神經(jīng)網(wǎng)絡的軟集成方法。試驗結果表明：總體性能上，基于欠取樣的代價敏感SVM是一種非常好的方法：但是在數(shù)據(jù)集嚴重不平衡時，該方法是失效的，而軟集成在此類數(shù)據(jù)集時性能最好。另外還得出了一些更詳細的結論，為采用此類方式處理代價敏感問題提供了參考依據(jù)。 3．針對Lin等人提出的代價敏感SVM(CSSVM)，進行了理論研究和實驗測試，試驗結果表明，雖然該方法可以有效降低總體錯誤