基于集成學習的特征選擇及穩(wěn)定性分析.pdf

1、隨著信息技術的迅速發(fā)展，生物信息學、圖像處理、文本挖掘等許多領域中研究對象的數(shù)據(jù)描述越來越趨向于高維，給數(shù)據(jù)挖掘造成了“維數(shù)災難”。針對這個問題，出現(xiàn)了數(shù)據(jù)降維的研究。而特征選擇作為數(shù)據(jù)降維的方法之一，因簡單、直觀、有效而應用廣泛。特征選擇可以去除冗余特征、無關特征、甚至噪聲特征，從而得到一個近乎無冗余、無噪聲的樣本集。研究證明，特征選擇不僅能顯著提高訓練分類模型的效率，還能提高分類模型的性能。因此在數(shù)據(jù)挖掘、機器學習、模式識別等相關領

2、域中，特征選擇成為了數(shù)據(jù)預處理中非常重要的一步，是監(jiān)督學習算法的一個重要組成步驟。
　　 和學習方法一樣，特征選擇也存在泛化能力的問題。穩(wěn)定性就是該問題的具體體現(xiàn)：同一個特征選擇算法在同一個樣本集的不同訓練數(shù)據(jù)集上得到的最優(yōu)特征子集是不同的，即算法的輸出隨著訓練數(shù)據(jù)集的變化而變化，是不穩(wěn)定的。而在機器學習領域有許多算法與特征選擇算法密切相關，比如集成學習和多任務學習。集成學習通過訓練多個個體學習器并將其結果進行合成，顯著地提高了

3、學習系統(tǒng)的泛化能力。將集成學習運用到特征選擇算法中，能較好地解決其穩(wěn)定性問題，成為近年來的一個研究方向。
　　 本文首先介紹特征選擇算法及其基本過程，從“特征子集生成”、“特征子集評價”以及“特征選擇與學習算法的結合方式”三個不同的角度對特征選擇算法進行分類。接著分析集成方法的研究現(xiàn)狀及高維小樣本數(shù)據(jù)集的特征選擇的穩(wěn)定性問題。然后介紹一些常見的特征選擇算法及其集成學習模型?；谶x擇性集成的思想，Zhang Li提出了一種利用集成