穩(wěn)定的特征選擇算法研究.pdf

1、高維數(shù)據(jù)正越來越多地充斥于數(shù)據(jù)挖掘領(lǐng)域，解決高維數(shù)據(jù)學(xué)習(xí)問題的傳統(tǒng)方法是應(yīng)用特征選擇方法，盡可能地選擇一個最小的特征子集（特征模型）來精確地描述學(xué)習(xí)數(shù)據(jù)。然而現(xiàn)存的多數(shù)特征選擇算法存在一個共同的問題：即如果訓(xùn)練集發(fā)生輕微的變化，則經(jīng)過特征選擇產(chǎn)生的特征子集不穩(wěn)定（或魯棒）。當(dāng)特征選擇應(yīng)用于知識發(fā)現(xiàn)時，算法的穩(wěn)定性是一個不容忽視的問題。因此，本文的核心是穩(wěn)定的特征選擇算法的研究。
　　首先在有監(jiān)督的特征選擇領(lǐng)域，為了提高算法的穩(wěn)定性

2、，基于L2正則化項和邏輯損失函數(shù)，本文提出了一種新的集成特征選擇方法，即特征加權(quán)算法，并采用兩種線性集成的方式WEn和REn。此外，本文還給出了對所提集成特征加權(quán)算法的旋轉(zhuǎn)不變性和統(tǒng)一穩(wěn)定性的理論分析。在真實數(shù)據(jù)集的實驗結(jié)果表明，所提算法具有良好的穩(wěn)定性和分類性能，并且在穩(wěn)定性與分類準(zhǔn)確率折中方面，本文所提的算法（REn和WEn）中至少有一個算法有高于或者相似于其他算法的性能。
　　在無監(jiān)督特征選擇領(lǐng)域，本文提出了一種過濾冗余特征