面向不平衡樣本的Boosting分類算法研究.pdf

1、現(xiàn)實世界數(shù)據(jù)分類的應(yīng)用通常會遇到數(shù)據(jù)不平衡的問題。在不平衡數(shù)據(jù)集中，大部分樣本屬于“正?！鳖悾Q為負(fù)類，只有很少的一部分樣本是“異常”的或者說是引起興趣的，稱為正類。通常，在數(shù)量上占少數(shù)的正類才是分類關(guān)注的重點，而且正類往往具有很高的錯分代價。但是傳統(tǒng)的分類算法是以整體精確度最大化為目標(biāo)的，因此，其分類結(jié)果會偏向數(shù)量眾多的負(fù)類，少數(shù)類的分類性能可能會很差。
　　目前，針對不平衡數(shù)據(jù)分類問題主要工作集中在數(shù)據(jù)層面的重采樣技術(shù)和算法層

2、面的改進。重采樣方法中最典型的是SMOTE算法。SMOTE算法是一種過采樣方法，通過在特征空間上合成少數(shù)類樣例來使數(shù)據(jù)集趨于平衡。算法層面提出的一種方法是Boosting集成學(xué)習(xí)算法，它關(guān)注那些“困難”樣本，由多個弱分類器組合成一個強分類器。
　　但是，SMOTE算法并沒有考慮不同區(qū)域的少數(shù)類樣本對少數(shù)類分類性能的貢獻的差別，Boosting算法同等對待難以被正確分類的多數(shù)類和少數(shù)類，這在一定程度上阻礙了少數(shù)類分類性能的提升。本文

3、從數(shù)據(jù)層面提出了一種區(qū)域有差別的過采樣方法 DSMOTE算，然后與Boosting算法相結(jié)合得到不平衡數(shù)據(jù)分類算法 DSMOTE-Boost。該算法將少數(shù)類劃分成安全樣本、邊界樣本和孤立點，分別采用不同的采樣策略，增加對邊界樣本的重視，通過設(shè)定不平衡率閾值考慮了孤立點價值；同時，提出了一種自適應(yīng)調(diào)整邊界樣本采樣倍率的方法，避免了盲目過采樣。本文算法在多個 UCI數(shù)據(jù)集上進行了實驗，結(jié)果表明DSMOTE-Boost算法是有效的，獲得了較好