面向高維屬性失衡數(shù)據(jù)挖掘重采樣技術(shù)研究.pdf

1、數(shù)據(jù)挖掘領(lǐng)域中普遍存在失衡的數(shù)據(jù)形態(tài)，它是指數(shù)據(jù)集中分屬不同類別的樣本間在數(shù)量級上存在著較大差距，由于數(shù)量差距懸殊而使得正常的分類算法效果不明顯。在數(shù)據(jù)挖掘領(lǐng)域中還存在一個不可避免的問題就是數(shù)據(jù)屬性高維，即數(shù)據(jù)集在收集或者處理當(dāng)中造成的數(shù)據(jù)屬性維度過高，導(dǎo)致大量冗余的屬性反而表達(dá)了少量的信息，為數(shù)據(jù)挖掘帶來不便。數(shù)據(jù)集的失衡和高維給數(shù)據(jù)分析以及知識發(fā)現(xiàn)帶來了困難，因此對此類數(shù)據(jù)集的研究已經(jīng)受到了越來越多的關(guān)注。隨著計算機(jī)技術(shù)的快速發(fā)展與

2、進(jìn)步，基于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的分類問題成為企業(yè)及組織快速決策、準(zhǔn)確判斷和有效輔助的方法，而高維的失衡數(shù)據(jù)集廣泛的存在于計算機(jī)科學(xué)、生物信息學(xué)、經(jīng)濟(jì)學(xué)等應(yīng)用領(lǐng)域中，對于失衡問題人們常常關(guān)心的是少數(shù)類的情況，對于高維屬性則常常關(guān)心的是大量屬性存儲的少量信息干擾機(jī)器學(xué)習(xí)，因此對這類數(shù)據(jù)集的處理就顯得尤為重要。
　　本文首先引入了失衡數(shù)據(jù)集以及高維屬性兩種數(shù)據(jù)狀態(tài)，通過整理國內(nèi)外對此類數(shù)據(jù)集的研究進(jìn)展，闡述高維失衡數(shù)據(jù)集對數(shù)據(jù)挖掘的影響，

3、常用的處理方法以及失衡數(shù)據(jù)集的分類效果評估方法。重點(diǎn)分析了一種基于DBSCAN算法的簇邊界重采樣方法結(jié)合支持向量機(jī)的策略，它能夠有效解決單純的數(shù)據(jù)失衡問題，但當(dāng)此方法面臨高維失衡數(shù)據(jù)的時候策略的優(yōu)勢不能有效發(fā)揮。針對此問題提出將基于信號噪聲比的降維方法與該策略融合以解決高維失衡問題。另外，分析了SOM算法以及數(shù)據(jù)生成采樣方法，以及兩種思想相結(jié)合的優(yōu)勢，設(shè)計出一種基于SOM算法的采樣方法以解決數(shù)據(jù)失衡問題，并提出基于Relief與SOM的