模式分類中特征選擇算法研究.pdf

1、新技術的蓬勃發(fā)展使我們每天都接觸到海量的信息，如何從這些海量數(shù)據中獲取對自己有用的信息，關鍵的環(huán)節(jié)就是模式識別技術。在模式識別系統(tǒng)中，由于獲取的數(shù)據規(guī)模越來越大并且具有樣本少、維數(shù)高等特點，如何從高維度原始數(shù)據中選擇合適特征子集，避免“維數(shù)災難”，同時不影響分類性能，使得特征選擇算法面臨更大的挑戰(zhàn)。特征選擇是模式識別系統(tǒng)中非常重要的一部分，也是設計一個性能優(yōu)良分類器的前提和必要條件。
　　本文通過研究國內外各種特征選擇算法，在對有

2、監(jiān)督的特征選擇算法中的評價測度、搜索方向和搜索策略等深入研究的基礎上，提出了改進的特征選擇算法。
　　基于主成分分析(PrincipleComponentAnalysis，PCA)的多層Filter式特征選擇算法，它將PCA特征提取運用于特征選擇之前，能有效去除特征間冗余，克服了特征選擇被用于依賴性較高的數(shù)據集時為了有效檢測到冗余的高計算量問題。之后引入信息熵的理論，研究特征的最大相關最小冗余的非線性相關性。針對Filter特征選

3、擇效率高但是不能保證獲得規(guī)模最小的特征子集的不足，本文提出分層Filter式特征選擇，減少每層計算量，逐層降低特征維數(shù)，得到維數(shù)最低冗余度小的特征子集。
　　基于信息相關性的嵌入式動態(tài)特征選擇算法是在這樣的基礎上:信息相關的度量方法是建立在概率論的基礎上的，預先要知道數(shù)據集上的概率分布情況;隨著特征選擇的不斷進行，待選特征子集不斷縮小，已選特征子集不斷壯大，數(shù)據類別的不確定性越來越小，而信息熵計算不變，顯然信息熵中包含部分“假信息