面向流數(shù)據(jù)的不平衡樣本分類研究.pdf

1、隨著信息技術(shù)的迅猛發(fā)展，出現(xiàn)了越來越多的數(shù)據(jù)形態(tài)，而流數(shù)據(jù)就是其中之一。該類數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，其擁有海量性、實(shí)時(shí)性和動(dòng)態(tài)變化性等特點(diǎn)。除此之外，在實(shí)際的應(yīng)用中，數(shù)據(jù)往往是不平衡的，如信用卡交易記錄中判斷金融詐騙的數(shù)據(jù)、預(yù)測是否患病的醫(yī)療體檢數(shù)據(jù)等。
　　在處理不平衡樣本問題中，SMOTE算法的思想主要是對(duì)相鄰的少數(shù)類樣點(diǎn)進(jìn)行線性插值生成新的少數(shù)類樣本點(diǎn)，以此來緩解數(shù)據(jù)的不平衡性。REA算法在解決面向流數(shù)據(jù)的不平衡樣本分類問題時(shí)是

2、通過采用滑動(dòng)窗口機(jī)制，分時(shí)段地對(duì)分類器進(jìn)行訓(xùn)練，最后采用集成的方法，形成最終的分類器。上述兩種方法在解決本課題的問題上存在著各自的缺點(diǎn)，SMOTE算法并沒有考慮到不同區(qū)域間少數(shù)類樣本點(diǎn)的分布問題，并且也不能很好的掌控生成樣本點(diǎn)的位置，而 REA算法僅通過加入歷史少數(shù)類樣本點(diǎn)來緩解數(shù)據(jù)的不平衡性，往往忽略了對(duì)概念漂移以及類內(nèi)不平衡問題的考慮。
　　針對(duì)上述問題，本文提出了一種結(jié)合了REA算法和SMOTE算法的改進(jìn)算法——CSMOTE

3、_REA，用來應(yīng)對(duì)面向流數(shù)據(jù)的不平衡樣本分類問題。在本算法中提出了具有聚類特性的采樣方法，首先在訓(xùn)練數(shù)據(jù)中通過加入歷史數(shù)據(jù)來增加少數(shù)類樣本點(diǎn)的數(shù)量，然后通過對(duì)少數(shù)類樣本點(diǎn)進(jìn)行聚類，以此來達(dá)到對(duì)不同區(qū)域少數(shù)類樣本點(diǎn)的識(shí)別目的。同時(shí)，本文提出了一種基于網(wǎng)格生成樣本的方法，該算法使得生成的樣本點(diǎn)與原始少數(shù)類樣本點(diǎn)具有更強(qiáng)的相關(guān)性，增大了少數(shù)類樣本點(diǎn)的聚合度。此外，又提出了一種測試樣本自適應(yīng)的選擇多分類器進(jìn)行集成的方法，增大了分類器與樣本的關(guān)聯(lián)