面向非平衡數(shù)據(jù)分類的支持向量機(jī)改進(jìn)算法研究.pdf

1、在現(xiàn)實(shí)世界的分類問題中,關(guān)于研究對象的數(shù)據(jù)往往是類不平衡的,即不同類別的樣本數(shù)目有很大差異,在不平衡數(shù)據(jù)集中,某些類別在數(shù)量處于劣勢(簡稱“小類”),甚至被其他類別(簡稱“大類”)“淹沒”,而已有的絕大部分分類算法并不顯式地考慮類不平衡問題,導(dǎo)致小類的分類精確性較差,因此在處理不平衡數(shù)據(jù)上分類效果不理想,往往將小類樣本錯(cuò)分為大類,不能達(dá)到分類的目的。
　　 一般認(rèn)為,支持向量機(jī)被認(rèn)為是處理不平衡問題的較理想工具,因?yàn)橹С窒蛄繖C(jī)的

2、決策過程僅僅受少量的支持向量影響,與其它樣本無關(guān),因此受類不平衡的影響有限。本文通過支持向量機(jī)、隨機(jī)森林和線性判別等分類算法的對比實(shí)驗(yàn)表明,支持向量機(jī)在處理非平衡數(shù)據(jù)集時(shí)并沒有顯著優(yōu)勢,在部分?jǐn)?shù)據(jù)集上甚至表現(xiàn)不如其它算法。為了解釋這個(gè)問題,本文通過人造數(shù)據(jù)分析了影響支持向量機(jī)分類效果的內(nèi)在原因,提出了關(guān)于類不平衡問題的一個(gè)新觀點(diǎn):類不平衡不是簡單地表現(xiàn)為不同類別樣本在樣本數(shù)目上的差異,而應(yīng)該是在決策面附近兩類樣本的密度。從而很好地解釋了

3、為什么支持向量機(jī)在處理某些非平衡問題表現(xiàn)突出(文本分類),而在處理其它問題時(shí)表現(xiàn)不理想。
　　 另一方面,基于采樣的不平衡處理方法,沒有考慮大類數(shù)據(jù)分布中可能存在的多樣性,即大類本身包含了多個(gè)數(shù)據(jù)分布。在該情形下,一個(gè)線性決策面,是不符合實(shí)際數(shù)據(jù)分布情況的。常用的上采樣和下采樣方法,即使面臨一個(gè)線性可分問題,在這種情形下得到的決策面也不符合數(shù)據(jù)實(shí)際分布情況。本文提出了基于聚類的組合支持向量機(jī)決策器(Cluster-svms),充