幾種變量選擇方法的模擬研究和實證分析.pdf

1、面對高維數(shù)據(jù)，常規(guī)的最小二乘方法不再適用，為了提高模型的可解釋性和預測的準確度，變量選擇變得很重要。如何高效地從眾多的變量中篩選出對因變量有重要作用的若干個變量，是統(tǒng)計學家們考慮的問題。1996年，統(tǒng)計學家Tibshirani提出了重要的Lasso方法，變量選擇的大幕由此拉開。此后，相繼出現(xiàn)了多種針對高維數(shù)據(jù)的變量選擇方法。常見的有五種，分別是:Lasso、AdaptiveLasso、ElasticNet、SCAD、SIS。前四種方法都

2、是在最小二乘的基礎上施加懲罰，以此來控制β的長度。在提出這些方法時，統(tǒng)計學家證明了相關的理論，并進行了數(shù)值模擬，有的還與其他方法進行了比較。
　　本文旨在通過數(shù)值模擬和實證分析的方法來綜合地、全面地比較這五種方法。在數(shù)值模擬部分，文章考慮了樣本量n與數(shù)據(jù)維數(shù)p的關系、自變量之間的相關性大小等六種情形，比較了幾種方法的表現(xiàn)。在實證分析部分，文章引用了急性淋巴性白血病研究的數(shù)據(jù)和甄別垃圾郵件的研究數(shù)據(jù)，采用上述五種方法選擇變量。

3、>　　對模擬和實證的結果進行分析后，發(fā)現(xiàn)這幾種方法均能較好地進行變量選擇。(1)作為具有里程碑意義的方法，由于其懲罰項的幾何性質，Lasso能夠把變量的系數(shù)朝0壓縮，并且恰好會把某些系數(shù)變成0。(2)AdaptiveLasso方法對Lasso的懲罰項做了修正，相當于對其懲罰做了加權，它在Lasso的基礎上進一步壓縮參數(shù)，文章的結果表明，該方法選擇的模型相對于Lasso的結果更加稀疏，可解釋性更強，更為重要的是，該方法滿足Oracle性質

4、。(3)ElasticNet是Lasso和嶺回歸的結合，參數(shù)α控制著權重，該方法同時繼承了Lasso和嶺回歸的優(yōu)點，結果表明，該方法選擇的變量比Lasso的多。最重要的是當數(shù)據(jù)出現(xiàn)組效應時，該方法展現(xiàn)出了它獨有的優(yōu)勢，而其他幾種方法則失靈了。(4)SCAD降維的效果明顯，相對其他方法，通常選擇較少的變量，并且最后的估計量滿足無偏性、稀疏性、連續(xù)性三個性質。(5)SIS則適用于超高維數(shù)據(jù)的粗略降維，它考慮的是自變量和因變量的相關系數(shù)。模擬