高維稀疏數(shù)據(jù)的Lasso和Dantzig Selector方法——高維稀疏線性回歸模型.pdf

1、近年來,高維統(tǒng)計(jì)數(shù)據(jù)分析成為統(tǒng)計(jì)學(xué)研究的熱點(diǎn),幾乎所有的大牛統(tǒng)計(jì)學(xué)家都在研究.高維稀疏數(shù)據(jù)問題就是其中一類特殊問題.當(dāng)變量或特征個(gè)數(shù)遠(yuǎn)大于樣本個(gè)數(shù)時(shí),很多特征都是噪聲而不是信號,它們會影響我們的分析結(jié)果.例如,在基因芯片里,基因個(gè)數(shù)成千上萬,而觀測個(gè)體只有幾十或者幾百個(gè).從生物學(xué)上說,和某種疾病相關(guān)的基因也就幾十到幾百個(gè),剩余的基因都是和疾病無關(guān)的.這就產(chǎn)生了一個(gè)統(tǒng)計(jì)問題,如何提取感興趣的特征.我們一般把它稱為特征選擇或變量選擇.目前,

2、比較流行的高維數(shù)據(jù)的變量選擇方法有兩種:一種是美國斯坦福大學(xué)統(tǒng)計(jì)系教授Tibshirani提出的稱之為Lasso的變量選擇方法;另一種是Candes等提出的Dantzig Selector估計(jì).
　　這兩種方法在高維線性回歸模型中表現(xiàn)了很好的性質(zhì).本文中,我們主要研究利用這兩種方法對模型中的未知參數(shù)進(jìn)行估計(jì)和預(yù)測.在高維線性回歸模型中,對參數(shù)的估計(jì)和預(yù)測的研究主要是:假定設(shè)計(jì)陣滿足一定的條件,然后根據(jù)誤差項(xiàng)的特點(diǎn)對未知參數(shù)進(jìn)行估計(jì)

3、和預(yù)測.目前,關(guān)于設(shè)計(jì)陣滿足的條件的研究很多,其中,2007年,Bickel等提出的限制特征值假設(shè)是應(yīng)用很普遍且較弱的條件之一,當(dāng)設(shè)計(jì)陣滿足該假設(shè)條件時(shí)得到的結(jié)論對后來的研究具有重要的影響.后來,統(tǒng)計(jì)學(xué)家們利用該假設(shè)得到了很多相關(guān)的結(jié)論,但是這些結(jié)論均依賴于模型中未知參數(shù)的稀疏水平的大小.
　　2012年初,Wang等提出了與Bickel等的限制特征值假設(shè)等價(jià)的假設(shè),且在其提出的假設(shè)下極大地改進(jìn)了已有的結(jié)論.更重要的是,在該假設(shè)下

4、得到的結(jié)論不依賴于未知參數(shù)稀疏水平的大小.因此,該假設(shè)的提出,使得高維情形下未知參數(shù)的估計(jì)和預(yù)測的研究有了更進(jìn)一步的發(fā)展.值得注意的是,在Bickel等、Wang等的研究中,均假設(shè)誤差項(xiàng)服從正態(tài)分布,且方差已知.然而,在實(shí)際應(yīng)用中,誤差項(xiàng)的方差往往是未知的,或者誤差項(xiàng)的分布不確定.本文考慮誤差項(xiàng)分布不確定的情形.
　　本文的主要工作和創(chuàng)新:1)利用Lasso和Dantizg Selector兩種方法,研究高維稀疏線性回歸模型中未知