分類問題中特征選擇算法的研究.pdf

1、特征選擇是數(shù)據(jù)挖掘中的一個重要研究方面，通過特征選擇可以刪除無關、冗余的信息，降低訓練樣本的維數(shù)、降低算法的復雜度和噪音的干擾，提高模型的推廣能力，因而在分類問題中起著很重要的作用。 本文對特征選擇的研究主要建立在粗糙集理論和支持向量機的基礎上。粗糙集理論是一種新的處理模糊、不確定性知識的數(shù)學工具。屬性約減是粗糙集理論研究的重要內(nèi)容，也就是在保持知識庫分類能力不變的條件下，刪除其中不相關或不重要的知識，達到降低維數(shù)的目的；另外屬

2、性約減的含義較特征選擇的含義更加豐富。特征選擇效果的好壞可以通過分類精度來衡量，因而選擇一種較好的分類算法也是很重要的，本文選取支持向量機作為分類算法，原因它是基于統(tǒng)計學習理論的一種新的機器學習算法，遵循的是結構風險最小化原則而不是經(jīng)驗風險最小化原則，具有較強的推廣能力。 本文的主要研究成果如下： 1、給出了屬性重要性的頻率定義，在它的基礎上建立了一種基于廣義差異矩陣的0—1屬性約減算法，將屬性約減問題轉化為一個0—1運

3、算問題，有效地提高了屬性約減的效率：同時對該算法能否能夠得到最小約減進行了詳實地研究，并得到了一些重要的結論，最后將此算法推廣到不完備信息系統(tǒng)中。 2、建立了基于0—1整數(shù)規(guī)劃的屬性約減算法和基于線性規(guī)劃的屬性約減算法，將屬性約減問題轉化為一個0—1整數(shù)規(guī)劃問題和線性規(guī)劃問題；同時對最優(yōu)解與屬性約減之間的關系進行了研究，得到了一些重要的結論。 3、給出了一種針對多類決策系統(tǒng)的屬性約減算法，將多類問題的約減轉化成兩類問題的

4、約減，有效地提高了約減的效率：同時對該算法得到的約減是否為最小約減進行了討論，并得到了一些有關結論。 4、對基于支持向量機的特征選擇算法進行了研究，包括構建了一種基于I1-I2-norm支持向量機的特征選擇算法、Embedded式支持向量機特征選擇算法和Robust支持向量機特征選擇算法，這些模型的求解轉化成二階錐規(guī)劃。 5、建立了一種基于粗糙集理論數(shù)據(jù)預處理的支持向量機分類模型，首先通過粗糙集理論進行數(shù)據(jù)預處理，再通過