類別不平衡數(shù)據(jù)的集成學(xué)習(xí)研究.pdf

1、分類是機(jī)器學(xué)習(xí)的重要任務(wù)之一，傳統(tǒng)的分類方法有一個(gè)默認(rèn)的假設(shè)，就是數(shù)據(jù)集中各類別所包含的樣本是均衡的，故傳統(tǒng)的分類方法都是以提高數(shù)據(jù)集的總體準(zhǔn)確率為目標(biāo)的。但是在現(xiàn)實(shí)生活中，經(jīng)常會(huì)存在這樣的數(shù)據(jù)，即某一類別所包含的樣本的數(shù)量遠(yuǎn)遠(yuǎn)小于其他類別所包含的樣本數(shù)量，我們稱這樣的數(shù)據(jù)為類別不平衡數(shù)據(jù)。在這些數(shù)據(jù)集中，人們主要關(guān)注的是小類樣本的信息(少數(shù)類)，但是傳統(tǒng)的分類方法由于追求總體的準(zhǔn)確率，很容易將全部樣本判別為多數(shù)類，使得分類器在少數(shù)類樣

2、本上的效果變得很差。這樣誤分的代價(jià)是巨大的。類別不平衡問(wèn)題由于其廣泛的存在和自身的特殊性，已經(jīng)成為機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域的焦點(diǎn)，是對(duì)傳統(tǒng)分類方法的重大挑戰(zhàn)。
　　目前國(guó)際上對(duì)類別不平衡數(shù)據(jù)的研究主要集中在兩個(gè)個(gè)層面:對(duì)數(shù)據(jù)集的處理和對(duì)分類算法的改進(jìn)。對(duì)數(shù)據(jù)集的處理主要是用重采樣的方法對(duì)數(shù)據(jù)集重構(gòu)，改變?cè)紨?shù)據(jù)集的分布，縮減其不平衡程度，主要方法有欠取樣和過(guò)取樣；對(duì)分類算法的改進(jìn)主要是修改傳統(tǒng)分類算法，使之適應(yīng)類別不平衡數(shù)據(jù)分類，如

3、代價(jià)敏感學(xué)習(xí)及基于Boosting的方法等。近幾年也有學(xué)者提出將重構(gòu)數(shù)據(jù)集和改進(jìn)分類算法結(jié)合起來(lái)使用。對(duì)上述諸方法的研究已經(jīng)取得矚目的成就，在很大程度上改善了不平衡數(shù)據(jù)的分類現(xiàn)狀，但是依然存在過(guò)度擬合、信息丟失等問(wèn)題，影響了分類結(jié)果的可靠性和穩(wěn)定性。因此，在不影響多數(shù)類分類精度的前提下提高少數(shù)類的識(shí)別率是一個(gè)很重要的研究課題。
　　本文針對(duì)類別不平衡數(shù)據(jù)這一課題，從對(duì)數(shù)據(jù)集的處理以及分類算法的改進(jìn)兩方面展開(kāi)研究，提出幾種適合處理類

4、別不平衡問(wèn)題的新方法。本文的主要?jiǎng)?chuàng)新成果有:
　　1.對(duì)數(shù)據(jù)集的處理:受級(jí)聯(lián)結(jié)構(gòu)的啟示，提出了一種針對(duì)不平衡數(shù)據(jù)集分類的新方法，基于級(jí)聯(lián)結(jié)構(gòu)的Bagging分類方法(CasBagging)。該方法通過(guò)在每一級(jí)剔除一部分多數(shù)類樣本的方式使數(shù)據(jù)集逐步趨于平衡，并應(yīng)用欠取樣技術(shù)得到訓(xùn)練集，用Bagging算法訓(xùn)練分類器，最后把每一級(jí)訓(xùn)練到的分類器集成為一個(gè)新的分類器。在weka平臺(tái)上實(shí)現(xiàn)該算法，在10個(gè) UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該

5、方法優(yōu)于原始 Bagging和AdaBoost。
　　2.對(duì)分類算法的改進(jìn):當(dāng)用神經(jīng)網(wǎng)絡(luò)處理類別不平衡問(wèn)題時(shí)，存在一個(gè)既定的事實(shí)，即少數(shù)類對(duì)誤差函數(shù)的貢獻(xiàn)要遠(yuǎn)遠(yuǎn)小于多數(shù)類的貢獻(xiàn)，故訓(xùn)練出來(lái)的網(wǎng)絡(luò)更傾向于識(shí)別多數(shù)類樣本。針對(duì)這個(gè)問(wèn)題，提出一種改進(jìn)的反向傳播算法WNN，在該算法中，首先根據(jù)樣本所屬的類別對(duì)其加權(quán)，少數(shù)類賦予較大權(quán)重，多數(shù)類賦予較小權(quán)重，然后重新定義了誤差函數(shù)，使其在計(jì)算樣本誤差時(shí)考慮該樣本的權(quán)重。在20個(gè) UCI數(shù)據(jù)集