基于近鄰準則的非平衡數(shù)據(jù)集分類方法研究.pdf

1、在二元分類問題中，非平衡數(shù)據(jù)集可以表述為一個類的實例數(shù)遠少于另一個類的實例數(shù)。決策樹、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)的分類方法試圖最優(yōu)化模型的總體分類準確率而不特別關(guān)注于稀有類，使得它們忽略稀有類實例。然而，現(xiàn)實生活中，占少數(shù)類的數(shù)據(jù)往往具有顯著意義，例如，在癌癥檢測中，有效識別癌癥患者對醫(yī)生的診斷更有意義。因此，非平衡數(shù)據(jù)集分類成為人們關(guān)注的一個熱點問題。
　　本文將K-近鄰思想應(yīng)用到非平衡數(shù)據(jù)集分類中，從組合分類器選擇、特征變換和

2、訓練實例對測試實例的累積影響入手，提出了三種算法以期提高非平衡數(shù)據(jù)集分類的性能，并分別將它們應(yīng)用于UCI數(shù)據(jù)集和實際生活中的心腦血管數(shù)據(jù)集上，驗證本文所提算法的有效性，本文主要的創(chuàng)新點如下:
　　1)提出了基于近鄰準則的組合分類器選擇方法NNES。組合方法是非平衡數(shù)據(jù)集分類常用的方法，組合方法往往構(gòu)建多個基分類器，這些分類器中既有對稀有類有效的也有對稀有類無效的，如果能夠從分類器庫中選擇對稀有類實例有效的分類器，則可以提高稀有類上

3、的分類性能。針對此問題，論文提出了基于近鄰準則的組合分類器選擇方法NNES。NNES考慮指定數(shù)據(jù)的局部特征，對于測試實例，搜索它的k個近鄰作為選擇集，使用能量指標從分類器庫中選擇對這k個近鄰分類最有效的分類器集合作為子組合分類器預(yù)測它的類標號。利用K-近鄰思想，NNES從組合分類器庫中選擇對該局部數(shù)據(jù)有效的基分類器，不僅提高了普通的組合分類器在非平衡數(shù)據(jù)集上的分類性能，而且提高了針對非平衡數(shù)據(jù)集設(shè)計的組合分類器的分類性能。NNES方法和

4、抽樣技術(shù)結(jié)合能進一步提高非平衡數(shù)據(jù)集上的分類性能。
　　2)提出了基于g-mean的特征變換方法GMFT。K-近鄰基于“近朱者赤，近墨者黑”的原則判定測試實例的類別，可以應(yīng)用于非平衡數(shù)據(jù)集分類問題中，為了進一步提高K-近鄰方法在非平衡數(shù)據(jù)集上的分類性能，GMFT方法基于g-mean指標思想，構(gòu)造了一種新的代價函數(shù)以保證在變換后的空間中稀有類實例和普通類實例具有更好的可分離性，保障K-近鄰模型在普通類和稀有類實例上的性能。14個UC

5、I數(shù)據(jù)集上的實驗結(jié)果表明，基于g-mean的特征變換方法能有效提高K-近鄰方法在非平衡數(shù)據(jù)集分類問題中的泛化能力，該方法與主成分分析方法和線性判別分析方法相比也表現(xiàn)出明顯優(yōu)勢。
　　3)提出了基于近鄰準則的影響函數(shù)方法NNIFC。受影響函數(shù)的啟發(fā)，換個角度理解分類，推斷測試實例的過程可以看成模型根據(jù)每個訓練實例在該實例上的累積影響來判別該實例類標號的過程。事實上，大部分的分類算法都是利用訓練實例對測試實例的影響來分類的，每個訓練實

6、例對測試實例都有一定的影響，綜合所有訓練實例對它的影響，即可判定它的類標號?；诖耍撐膹男碌慕嵌壤斫夥诸悊栴}，提出了影響函數(shù)的分類方法，給出了線性影響函數(shù)、平方影響函數(shù)和指數(shù)影響函數(shù)的定義，并分析這三種影響函數(shù)的分類性能。同時將影響函數(shù)和近鄰準則結(jié)合起來，提出了基于近鄰準則的影響函數(shù)分類方法NNIFC用于非平衡數(shù)據(jù)集分類。對于未知類標號的實例，NNIFC根據(jù)定義好的影響函數(shù)計算k個近鄰對它的影響，將該測試實例歸類于對它影響最大的那個類

7、。好的影響函數(shù)決定好的分類性能，實驗結(jié)果表明基于近鄰準則的指數(shù)影響函數(shù)分類方法在非平衡數(shù)據(jù)集上取得了較好的分類性能。
　　4)將本文所提出的基于近鄰準則的組合分類器選擇方法、基于g-mean的特征變換方法和基于近鄰準則的影響函數(shù)分類方法運用在心腦血管數(shù)據(jù)集上。心腦血管數(shù)據(jù)集是從河南省某三甲醫(yī)院采集的病人數(shù)據(jù)，將論文提出的算法運用在該數(shù)據(jù)集上以驗證本文所提出的算法在實際數(shù)據(jù)集上的分類性能。心腦血管數(shù)據(jù)集上的實驗結(jié)果表明本文所提算法在