基于組合抽樣技術的集成學習算法研究與應用.pdf

1、不平衡數(shù)據(jù)集分類和集成學習是當今機器學習領域的主要研究內容。傳統(tǒng)分類方法大多基于訓練數(shù)據(jù)集各類樣本的數(shù)目基本平衡和誤分類代價相同等假設,以準確率為分類器性能評價指標,因此在解決不平衡數(shù)據(jù)集分類問題時大大降低了少數(shù)類的分類性能,模型的實際工程應用效果不佳。
　　 不平衡數(shù)據(jù)集往往具有少數(shù)類數(shù)據(jù)絕對或相對稀少、噪聲數(shù)據(jù)干擾大、數(shù)據(jù)碎片多等特點,應用單一分類器難以實現(xiàn)準確分類。提升不平衡數(shù)據(jù)集分類性能的方法主要包括數(shù)據(jù)重采樣、訓練集劃

2、分、特征選擇、代價敏感學習、分類器集成、單類學習等方法。本文通過實驗分析單純依賴數(shù)據(jù)層面或算法改進層面的方法都不能較高地提高少數(shù)類的分類性能。目前常用的SMOTE等重采樣方法存在少數(shù)類分布稀疏、擴充數(shù)據(jù)盲目性、多數(shù)類信息損失等問題,Adaboost等集成學習方法也存在多數(shù)類過擬合或分類器性能退化問題。所以,有效提高少數(shù)類的分類精度并且不影響分類器總體分類性能是一個值得深入研究的課題。
　　 本文從改善不平衡數(shù)據(jù)集的數(shù)據(jù)分布、適當

3、的算法改進以及恰當?shù)姆诸惼餍阅茉u價等方面討論,提出了將組合重抽樣方法與改進Adaboost算法相結合的TSNIMA分類器集成算法。該算法根據(jù)樣本集內部分布特性,在SMOTE重抽樣方法的基礎上自適應選擇近鄰,從而實現(xiàn)在合成少數(shù)類樣本時減小少數(shù)類分布稀疏性對新樣本的影響程度,改善訓練樣本集的不平衡度。由于Adaboost算法的特點是在學習階段根據(jù)分類器誤差的大小統(tǒng)一調整樣本權重,所以不適合解決不平衡數(shù)據(jù)集分類學習問題。本文針對不同類別的樣本

4、采用多種權重修改策略,有效防止了邊界樣本、噪聲數(shù)據(jù)在學習時對分類器性能的惡化,提高了少數(shù)類樣本的識別率。將所提出的算法在WEKA開源平臺上實現(xiàn),應用UCI標準數(shù)據(jù)集中的不平衡數(shù)據(jù)進行驗證。實驗證明在多項分類器性能指標上,TSNIMA算法都優(yōu)于SMOTEBoost、Asymboost以及單一分類等方法。
　　 本文創(chuàng)新性地應用這種組合抽樣與集成學習方法來解決實際工程中的煙葉香型分類問題。實驗證明,TSNIMA集成分類器在面對不平衡