基于支持向量機的不平衡數(shù)據(jù)分類方法研究與應(yīng)用.pdf

1、在很多實際應(yīng)用中,如入侵檢測、醫(yī)療診斷和故障檢測等,我們要進(jìn)行處理研究的數(shù)據(jù)大多數(shù)都是不平衡數(shù)據(jù)集,即某些類別的樣本數(shù)量遠(yuǎn)遠(yuǎn)少于其它類別樣本數(shù)量的數(shù)據(jù)集,在大多數(shù)情況下,少數(shù)類樣本中所蘊含的信息量卻更值得關(guān)注。然而,對不平衡數(shù)據(jù)進(jìn)行分類研究時,傳統(tǒng)分類方法的分類結(jié)果總會傾向于多數(shù)類,而對少數(shù)類的樣本的識別率低。因此,如何有效地改善和提高不平衡數(shù)據(jù)集中少數(shù)類樣本的分類精度和分類器的整體性能已逐漸成為機器學(xué)習(xí)領(lǐng)域和實際應(yīng)用領(lǐng)域的一個研究熱點

2、和難點。
　　支持向量機(Support Vector Machine, SVM)是針對有限樣本情況下的、以統(tǒng)計學(xué)理論為堅實理論基礎(chǔ)的新的機器學(xué)習(xí)方法。針對支持向量機算法處理不平衡數(shù)據(jù)時分類精確度較低的缺陷,本文在基于理論分析和實驗證明的基礎(chǔ)之上提出了三種改進(jìn)型算法,并將這三種算法集成至一個系統(tǒng)原型中。
　　第一種改進(jìn)型算法是在聚類權(quán)重模型基礎(chǔ)之上提出的:分階段的支持向量機(WSVM)。預(yù)處理時,采用 K均值算法得到多數(shù)類中

3、各樣本的權(quán)重。分類時,第一階段根據(jù)權(quán)重選出多數(shù)類內(nèi)各簇邊界區(qū)域的與少數(shù)類數(shù)目相等的樣本;第二階段對選取的樣本和少數(shù)類樣本進(jìn)行初始分類;第三階段用多數(shù)類中未選取的樣本對初始分類器進(jìn)行優(yōu)化調(diào)整,當(dāng)滿足停止條件時,得到最終分類器。通過對 UCI數(shù)據(jù)集上的實驗表明,WSVM在少數(shù)類樣本的識別率和分類器的整體性能上都優(yōu)于傳統(tǒng)分類算法及相應(yīng)的改進(jìn)型算法。
　　第二種改進(jìn)型算法針對少數(shù)類樣本合成過采樣技術(shù)(Synthetic Minority

4、Over-sampling Technique,SMOTE)在生成少數(shù)類新樣本時存在的缺陷,提出了一種新的改進(jìn)型 SMOTE算法(GA-SMOTE)。GA-SMOTE算法借鑒遺傳算法中三個基本遺傳算子的思想和策略,并將其成功應(yīng)用于 SMOTE算法中,選擇算子實現(xiàn)對少數(shù)類樣本有區(qū)別地選擇,交叉、變異算子實現(xiàn)對合成樣本質(zhì)量和數(shù)量的控制。將 GA-SMOTE與 SVM算法結(jié)合處理不平衡數(shù)據(jù)的分類問題。通過對 UCI數(shù)據(jù)集上的實驗表明,GA-S

5、MOTE結(jié)合 SVM算法在少數(shù)類樣本的識別率和分類器的整體性能上都優(yōu)于傳統(tǒng)分類算法及相應(yīng)的改進(jìn)型算法。
　　第三種改進(jìn)型算法針對 SVM在超平面附近進(jìn)行不平衡數(shù)據(jù)分類的不準(zhǔn)確性,提出了一種改進(jìn) SVM-KNN算法,該算法在分類階段計算測試樣本與最優(yōu)超平面的距離,如果距離差大于給定閾值可直接應(yīng)用支持向量機分類;如果距離差小于給定閾值,則將所有支持向量都作為測試樣本的近鄰樣本,進(jìn)行 KNN分類。通過對 UCI數(shù)據(jù)集上的實驗表明,該算法