基于混合采樣的非平衡數(shù)據(jù)集分類研究.pdf

1、非平衡數(shù)據(jù)集分類是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要研究方向。所謂非平衡數(shù)據(jù)集,在二分類問題中,即是在數(shù)據(jù)集中一類樣本數(shù)量遠(yuǎn)遠(yuǎn)大于另一類的樣本數(shù)量,我們把樣本數(shù)量少的類稱為正類,把樣本數(shù)量多的類稱為負(fù)類。由于類別數(shù)量上的不均衡性,導(dǎo)致傳統(tǒng)的分類算法對(duì)負(fù)類樣本預(yù)測(cè)準(zhǔn)確率很高,可是在正類樣本上識(shí)別率則相對(duì)較差,但是在實(shí)際應(yīng)用中,往往正類有著十分重要的意義。
　　針對(duì)上述問題,非平衡數(shù)據(jù)集的分類問題需要尋求新的方法加以解決。目前,非平衡數(shù)

2、據(jù)集分類問題的解決方法主要分為兩種:一種是算法層面的算法改進(jìn),其中包括代價(jià)敏感學(xué)習(xí)、集成學(xué)習(xí)、單類學(xué)習(xí)和特征選擇學(xué)習(xí)等;一種是數(shù)據(jù)層面的數(shù)據(jù)集重構(gòu)。SMOTE算法則是數(shù)據(jù)集重構(gòu)中的經(jīng)典過采樣算法。
　　但是SMOTE算法存在盲目采樣問題,以噪聲點(diǎn)為基礎(chǔ)采樣可能導(dǎo)致引入新的噪聲,并且也存在不合理采樣使得樣本空間重疊反而導(dǎo)致決策域變小的問題。鑒于此,本文提出一種基于混合采樣策略的非平衡數(shù)據(jù)集學(xué)習(xí)算法SVM-IMSA,并對(duì)以下關(guān)鍵問題進(jìn)

3、行了研究和改進(jìn):
　　①針對(duì)SMOTE算法采樣中樣本噪聲的干擾問題,提出一種基于錯(cuò)分的混合采樣算法,根據(jù)空間近鄰關(guān)系,把識(shí)別為噪聲點(diǎn)的樣本直接刪除。
　?、卺槍?duì)SMOTE算法中存在的盲目采樣和不合理的采樣會(huì)使得樣本空間重疊問題,是在以錯(cuò)分驅(qū)動(dòng)為基礎(chǔ),根據(jù)空間近鄰關(guān)系把錯(cuò)分樣本分為安全點(diǎn)、噪聲點(diǎn)和危險(xiǎn)點(diǎn),自適應(yīng)的對(duì)安全點(diǎn)和危險(xiǎn)點(diǎn)采取相應(yīng)的過采樣和欠采樣方法,以解決支持向量機(jī)在非平衡數(shù)據(jù)集上的決策面偏移問題。
　?、坩槍?duì)S

4、MOTE算法隨機(jī)的線性插值會(huì)造成稀疏區(qū)域仍然稀疏,密集區(qū)域仍然密集,無法有效的對(duì)更具意義的樣本區(qū)域有針對(duì)性的采樣問題,是在錯(cuò)分基礎(chǔ)上進(jìn)行迭代,逐步將采樣區(qū)域集中到“難以判決”的樣本周圍,對(duì)識(shí)別為安全的樣本加大采樣倍率,以使得分類器更加關(guān)注這些難以分類的樣本。
　?、芨倪M(jìn)了傳統(tǒng)的隨機(jī)欠采樣策略,提出一種邊界區(qū)域切割算法,通過分析危險(xiǎn)點(diǎn)周圍負(fù)類樣本的密度和密度可達(dá)性,對(duì)負(fù)類樣本有針對(duì)性的進(jìn)行欠采樣處理,避免了傳統(tǒng)算法對(duì)某些重要負(fù)類樣本