若干特征篩選方法及其模擬研究.pdf

1、在實(shí)際中，為了應(yīng)用回歸分析方法，人們通常首先要對(duì)回歸自變量進(jìn)行選擇，以剔除掉對(duì)因變量的影響較弱的自變量。當(dāng)自變量的維數(shù)p比樣本容量n小或者p相對(duì)于n來(lái)說(shuō)不是很大時(shí)，變量選擇問(wèn)題有許多成熟的有效的方法，如Lasso、 Adaptive Lasso、Elastic Net、SCAD等方法。近幾年來(lái)，隨著數(shù)據(jù)收集技術(shù)的發(fā)展以及數(shù)據(jù)收集成本的下降，高維數(shù)據(jù)甚至超高維數(shù)據(jù)越來(lái)越多地出現(xiàn)在科學(xué)的各個(gè)領(lǐng)域中。所謂的超高維數(shù)據(jù)是指p遠(yuǎn)遠(yuǎn)大于n的情況。這

2、所謂的“大p小n”問(wèn)題給上述方法帶來(lái)了嚴(yán)重的挑戰(zhàn)，如統(tǒng)計(jì)的精確性、模型的可解釋性、算法的復(fù)雜度等。針對(duì)這樣的超高維數(shù)據(jù)，統(tǒng)計(jì)學(xué)者們提出了所謂的特征篩選方法，即從這非常多的p個(gè)變量中剔除對(duì)因變量影響較小的變量，這樣就可以對(duì)保留下來(lái)的自變量進(jìn)行精確的選擇并估計(jì)參數(shù)。經(jīng)常使用的一些特征篩選方法包括:SIS、SIRS、NRS、DC-SIS、RRCS等。統(tǒng)計(jì)學(xué)家已經(jīng)證明這些方法具有良好的性質(zhì)，如確定篩選性質(zhì)、選擇相合性質(zhì)等，這就可以確保它們能進(jìn)行

3、有效的特征篩選。
　　本文旨在對(duì)這些常用的特征篩選方法進(jìn)行全面的介紹與比較分析。文章首先詳細(xì)地介紹這些特征篩選方法，包括它們的理論依據(jù)、估計(jì)量、篩選準(zhǔn)則以及理論性質(zhì)等，并對(duì)它們采用的準(zhǔn)則、適用的模型范圍、以及優(yōu)缺點(diǎn)等進(jìn)行了比較分析;從理論上對(duì)這些方法以及它們的異同有了明確的認(rèn)識(shí)。然后，文章又通過(guò)數(shù)值模擬研究對(duì)這些方法的篩選效果進(jìn)行了對(duì)比分析。本文設(shè)置的模型考慮了自變量之間不同的相關(guān)性、不同的誤差分布、不同的活躍預(yù)測(cè)變量個(gè)數(shù)等諸多情

4、況;通過(guò)模擬研究，對(duì)這些方法的適用范圍以及模擬效果有了直觀的印象。
　　分析模擬結(jié)果可以發(fā)現(xiàn)，這幾種方法的模擬效果和它們的理論性質(zhì)基本是吻合的，它們都能較好地進(jìn)行特征篩選。在線性模型下，只要信噪比不是很小，本文研究的這幾種方法都有很好的模擬效果，能準(zhǔn)確地對(duì)預(yù)測(cè)變量進(jìn)行排序和篩選;在本文設(shè)置的這幾種模擬情形下，SIS方法只在誤差分布非厚尾的線性模型下有良好的篩選效果，SIRS方法在多指標(biāo)模型和變換模型下的篩選效果比較理想，NRS方法

5、和RRCS方法都在厚尾分布、多指標(biāo)模型、變換模型以及非參數(shù)模型下的有著不錯(cuò)的篩選效果，DC-SIS方法在厚尾分布和非參數(shù)模型下的模擬結(jié)果有明顯的改善;而在預(yù)測(cè)變量與響應(yīng)變量對(duì)稱相關(guān)的設(shè)置下，本文的模擬試驗(yàn)結(jié)果表明，沒(méi)有哪一種方法明顯地優(yōu)于其它方法。
　　隨著大數(shù)據(jù)時(shí)代的到來(lái)，超高維數(shù)據(jù)越來(lái)越多地出現(xiàn)在科學(xué)研究以及人們的生活中。因此研究特征篩選的方法不但具有重要的理論意義，而且也有著重要的實(shí)用價(jià)值。本文通過(guò)理論介紹以及模擬研究認(rèn)為，