基于最短描述長度的高維特征選擇方法研究.pdf

1、高維特征選擇問題也稱為稀疏建模問題，是當前機器學習研究領(lǐng)域的熱點研究問題之一，目標是解決現(xiàn)有的特征建模方法在高維特征空間普遍失效的問題。主要的研究方法是基于模型參數(shù)的1-范數(shù)或零一范數(shù)約束的正則化方法。當前流行的1-范數(shù)方法存在的主要問題是缺乏對相關(guān)特征的組選能力和特征選擇能力受樣本容量限制。而傳統(tǒng)的零-范數(shù)方法則在稀疏建模實踐中普遍存在過擬合問題，主要原因是對模型復雜度的約束條件不合理。最近的理論研究揭示出基于零-范數(shù)約束的逐步回歸法

2、在理論上能夠獲得比1-范數(shù)方法更好的稀疏建模性能。據(jù)此本文從最短描述長度原則出發(fā)，通過理論推導建立了三種新型的基于零-范數(shù)約束的高維特征選擇方法模型，分別是：
　　 ⑴通過向隨機復雜度模型中引入模型參數(shù)的高斯分布假設，對模型復雜度下界的費舍爾信息近似公式進行推導求解得到一個易于計算的特征選擇判據(jù)，據(jù)此構(gòu)造出一種基于隨機復雜度約束的特征選擇方法模型，并通過仿真實驗和真實基因數(shù)據(jù)集上的實驗，驗證了該方法在稀疏建模任務中的性能優(yōu)于當前

3、主流的1-范數(shù)方法和文獻報道的最新相關(guān)理論成果；
　　 ⑵通過向基于風險膨脹判據(jù)（RIC）的特征選擇模型中引入2-范數(shù)約束條件，解決了RIC模型從低維特征空間向高維特征空間的推廣問題，據(jù)此構(gòu)造出一種基于有偏風險約束的特征選擇方法模型，并同樣通過仿真實驗和基因選擇實驗驗證了該方法在稀疏建模任務中相對于當前主流方法的性能優(yōu)越性；
　　 ⑶為嘗試建立推廣性更好的零-范數(shù)高維特征選擇方法模型，本文在吸收借鑒前述方法的優(yōu)點的基礎上

4、，通過向隨機復雜度模型引入一個Tikhonov類型的正則化因子，削弱了該模型的理論限制條件，據(jù)此構(gòu)造出一個基于有偏最短描述長度的特征選擇方法。仿真實驗，基因選擇及圖像分類實驗的數(shù)據(jù)表明，該方法能夠有效處理稀疏建模任務，且性能優(yōu)于當前主流的1-范數(shù)方法和和文獻報道的最新相關(guān)理論成果，在本文提出的三個模型中性能表現(xiàn)最優(yōu)。
　　 ⑷研究成果證明了基于零-范數(shù)的正則化特征選擇方法不僅適用于高維特征空間，而且能夠獲得比1-范數(shù)方法更好的稀