面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究.pdf

1、高維小樣本數(shù)據(jù)在實(shí)際應(yīng)用中相當(dāng)普遍，例如自然語(yǔ)言處理中的文本數(shù)據(jù)、計(jì)算機(jī)視覺中的圖像數(shù)據(jù)、生物信息學(xué)中的基因表達(dá)譜數(shù)據(jù)等，給現(xiàn)有的挖掘和學(xué)習(xí)算法帶來(lái)了巨大的挑戰(zhàn)。隨著數(shù)據(jù)維度的急劇增加，會(huì)產(chǎn)生大量的無(wú)關(guān)以及冗余信息，這些信息可能極大降低機(jī)器學(xué)習(xí)算法的性能，增加計(jì)算復(fù)雜度，造成“維數(shù)災(zāi)難”以及“過擬合”問題。特征選擇是解決高維小樣本問題的一種有效手段，它可以去除大量不相關(guān)和冗余的特征，尋找與分類任務(wù)強(qiáng)相關(guān)的特征子集，從而減少算法運(yùn)行時(shí)間，

2、提高算法精度。因此，開展高維小樣本數(shù)據(jù)環(huán)境下的特征選擇方法研究具有重要的研究與應(yīng)用價(jià)值。
　　本文選擇真實(shí)的基因表達(dá)譜數(shù)據(jù)作為具體實(shí)驗(yàn)對(duì)象，將特征選擇算法應(yīng)用于疾病分類問題中，并把分類結(jié)果的好壞作為我們特征選擇算法的評(píng)價(jià)指標(biāo)之一。圍繞高維小樣本的特征選擇問題，本文開展了一系列的研究工作，主要研究成果包括以下幾個(gè)方面:
　　(1)針對(duì)高維小樣本數(shù)據(jù)會(huì)導(dǎo)致“維數(shù)災(zāi)難”的問題，我們提出一種嵌入特征選擇方法K-split Lasso

3、來(lái)降維，提高分類模型的精度，解決計(jì)算復(fù)雜度高的問題。K-split Lasso是基于經(jīng)典的Lasso方法提出的，其基本思想是將數(shù)據(jù)集平均劃分為K份，分別使用Lasso方法對(duì)每份進(jìn)行特征選擇，而后將選擇出來(lái)的每份特征子集合并，重新進(jìn)行特征選擇，從而得到最終的特征子集。實(shí)驗(yàn)結(jié)果表明K-split Lasso算法提高了模型的分類精度，在一定程度上解決了“維數(shù)災(zāi)難”問題。
　　(2)針對(duì)高維小樣本數(shù)據(jù)會(huì)導(dǎo)致“過擬合”問題，我們結(jié)合過濾方法

4、和嵌入方法的優(yōu)點(diǎn)，并在此基礎(chǔ)上提出一種新的混合特征選擇方法GSIL，目的是從高維數(shù)據(jù)中選出具有強(qiáng)類別區(qū)分能力的特征子集，解決“過擬合”問題。GSIL方法分為兩層，第一層采用信噪比指標(biāo)衡量特征的重要性，以過濾無(wú)關(guān)特征;第二層采用改進(jìn)的Lasso方法（Iterative Lasso）進(jìn)行冗余特征的剔除。實(shí)驗(yàn)結(jié)果表明，GSIL算法能夠有效提高分類模型的精度，減少了冗余特征，解決了“過擬合”問題，通過與已有的一些特征選擇方法進(jìn)行了分析比較，也驗(yàn)

5、證了GSIL方法的可行性和有效性。
　　(3)針對(duì)高維小樣本數(shù)據(jù)會(huì)造成特征選擇算法的不穩(wěn)定性，我們利用集成學(xué)習(xí)方法來(lái)提高分類模型的預(yù)測(cè)能力以及特征選擇的穩(wěn)定性?？紤]到目前已經(jīng)提出的大多特征選擇方法僅根據(jù)區(qū)分能力選擇單個(gè)特征子集，雖然這些子集可以在一定程度上提高學(xué)習(xí)模型的性能，但是由于單個(gè)子集包含的信息量有限，會(huì)導(dǎo)致特征選擇算法的不穩(wěn)定性。因此，本文提出一種基于相關(guān)性的集成特征選擇算法ECGS-RG，生成多個(gè)有效的特征子集來(lái)彌補(bǔ)單個(gè)