基于最大權(quán)重最小冗余準(zhǔn)則的特征選擇方法研究.pdf

1、近幾年以來，隨著現(xiàn)代科學(xué)技術(shù)的飛速發(fā)展，數(shù)據(jù)量呈現(xiàn)一種爆炸式增長。而伴隨數(shù)據(jù)量增長的同時，數(shù)據(jù)中包含的不相關(guān)和冗余信息也增多，給已有的機器學(xué)習(xí)算法帶來了嚴(yán)峻的挑戰(zhàn)。因此，迫切需要適應(yīng)海量數(shù)據(jù)的準(zhǔn)確性和運算效率等綜合性能較好的特征選擇方法。為此，本文對高維數(shù)據(jù)的特征選擇展開了進一步的研究。
　　首先，針對現(xiàn)有特征選擇方法中基于不同的類間散度和類內(nèi)散度的特征權(quán)重度量方法的缺陷，我們提出一種新的度量特征權(quán)重的函數(shù)，這種度量具有一定的泛化

2、特征。并進一步討論該形式與其它基于類間散度和類內(nèi)散度準(zhǔn)則的特征權(quán)重度量的關(guān)系。
　　其次，針對現(xiàn)有特征選擇方法中相關(guān)性和冗余度評價方法缺乏多樣化以及最佳特征個數(shù)難以確定的問題，本文提出基于最大平均權(quán)重最小平均冗余準(zhǔn)則的特征選擇方法（MAWMAR方法）。一方面，在特征權(quán)重計算過程中采用一般化的特征權(quán)重評價函數(shù)，使得特征選擇過程中不僅便于理解和分析，同時適用于處理半監(jiān)督和有監(jiān)督的問題。另一方面，通過建立最大化特征相關(guān)性和最小化特征間冗

3、余信息的分式規(guī)劃模型，該方法不僅有效地權(quán)衡了特征相關(guān)性和冗余性這兩個相互沖突的目標(biāo)，同時實現(xiàn)了最優(yōu)特征個數(shù)的選擇。實驗結(jié)果表明MAWMAR比其它特征選擇方法得到了更小更優(yōu)的特征子集。
　　再次，針對基于最大平均權(quán)重最小平均冗余準(zhǔn)則的特征選擇方法容易受特征個數(shù)的影響，本文提出基于最大總權(quán)重最小冗余準(zhǔn)則的特征選擇方法（MaToWMiR方法），該方法綜合考慮了特征相關(guān)性和特征間冗余性進行無關(guān)冗余特征的剔除。MaToWMiR不僅保持了使用

4、一般化的特征權(quán)重度量的優(yōu)點，同時降低了特征個數(shù)對特征選擇的影響。實驗結(jié)果表明MaToWMiR有效地去除了無關(guān)冗余特征，降維的同時提高了分類精度。
　　最后，為了考察MAWMAR和MaToWMiR的應(yīng)用范圍，對兩種方法下的模型做了對比分析。首先，利用分支定界法求解MAWMAR和MaToWMiR方法下的模型，通過比較分類準(zhǔn)確率和選擇出的特征個數(shù)，說明了兩種方法在不同的數(shù)據(jù)集上具有各自的優(yōu)勢，同時分析了影響上述結(jié)果的主要原因。其次，針對