類重疊度與特征重疊區(qū)域的特征選擇算法.pdf

1、現(xiàn)在的社會是高速發(fā)展的社會，日益發(fā)展的科技，伴隨著越來越多的信息流通，大數(shù)據(jù)便是這個時代的產(chǎn)物。大數(shù)據(jù)的價值并不在“大”，而在于“有用”，數(shù)據(jù)中的價值含量、挖掘成本比數(shù)據(jù)的量更為重要。在此基礎(chǔ)上，數(shù)據(jù)挖掘技術(shù)的發(fā)展日益受到社會的重視。在數(shù)據(jù)挖掘技術(shù)中，特征選擇技術(shù)是一種主要的數(shù)據(jù)分析技術(shù)。在大數(shù)據(jù)分析中，如何從高維數(shù)據(jù)中篩選出區(qū)分能力強、具有重要研究價值的特征是關(guān)鍵的研究方向。特征選擇技術(shù)已經(jīng)廣泛應(yīng)用于很多應(yīng)用領(lǐng)域，如入侵檢測、生物醫(yī)學(xué)

2、、生態(tài)環(huán)境科學(xué)等方面。
　　基于支持向量機的特征回歸消減方法(Support Vector Machine-Recursive FeatureElimination，SVM-RFE)是一種常用特征選擇方法，它通過迭代刪除的順序?qū)μ卣鬟M行排序。本文首先研究在SVM-RFE迭代特征刪除過程中選擇最優(yōu)特征子集的評價標準。為了更加準確的評價特征子集，在后向迭代特征選擇過程中，采用準確率和樣本的類重疊度綜合評價特征子集的區(qū)分能力。一個具有較

3、好區(qū)分能力的特征子集應(yīng)該具有較高的準確率和較低的類重疊度。由此本文提出算法SVM-RFE-COA。此外在SVM-RFE的特征選擇過程中，SVM基于當(dāng)前的特征集和訓(xùn)練樣本建模，訓(xùn)練樣本的質(zhì)量會影響特征權(quán)值的計算，如果當(dāng)前特征空間下，樣本的類重疊度很高，可能發(fā)生會過擬合，影響對特征的評價，故在SVM-RFE-COA的基礎(chǔ)上提出算法M-SVM-RFE-COA，該算法在每次迭代刪除特征的過程中，暫時屏蔽那些相對于原始特征空間類重疊度增加較大的訓(xùn)

4、練樣本，以選出更具區(qū)分能力的特征子集。在11個公共數(shù)據(jù)上的結(jié)果表明，SVM-RFE-COA結(jié)合準確率和樣本的類重疊度作為評價指標比以準確率作為評價指標可以選出更具有區(qū)分能力的特征;并且M-SVM-RFE-COA在每次迭代選擇的過程中，暫時屏蔽那些相對于原始特征空間類重疊度增加較大的樣本，同樣提升了SVM-RFE-COA的特征選擇性能。
　　ERGS是一種基于特征有效區(qū)間的特征選擇算法，它計算特征在任意兩類樣本之間的重疊區(qū)域來評估特

5、征的區(qū)分能力。一個特征的重疊區(qū)域越大，特征的區(qū)分能力越弱。但ERGS忽略了特征在任何兩類樣本上的重疊區(qū)域占其中任一類樣本上有效區(qū)間的比例，這可能會影響對特征的評估。本文提出基于ERGS算法改進的MERGS算法，它計算特征在任何兩類樣本上的重疊區(qū)域占其中任一類樣本的有效區(qū)間的比例來計算特征的基于有效區(qū)間重疊程度;并且對于每個特征，基于每個樣本在該特征處的近鄰中的異類樣本數(shù)所占比例，計算在整體樣本空間中該特征的基于近鄰中異類樣本所占比例的重