部分線性模型中差分估計(jì)與SCAD的比較及帶有異常點(diǎn)的非負(fù)變量選擇.pdf

1、變量選擇在現(xiàn)代統(tǒng)計(jì)學(xué)中占有越來越重要的地位，近年來由Tibshirani提出來的LASSO方法受到了極大的關(guān)注。LASSO中懲罰函數(shù)的方法已經(jīng)被用于各種模型中來解決實(shí)際問題。本文的研究主要分為兩個(gè)部分：首先是在部分線性回歸模型中比較了差分估計(jì)和SCAD，主要為了研究變量選擇估計(jì)在其他更復(fù)雜的模型中的表現(xiàn)，研究其優(yōu)劣性；其次是在線性模型中討論了LASSO式懲罰函數(shù)在更復(fù)雜的數(shù)據(jù)集中的運(yùn)用，將懲罰函數(shù)的思想運(yùn)用到帶有異常點(diǎn)的數(shù)據(jù)中，使懲罰函

2、數(shù)思想的方法運(yùn)用到更加實(shí)際的模型及數(shù)據(jù)集。
　　本研究主要內(nèi)容包括：⑴部分線性回歸模型中改進(jìn)的差分估計(jì)與SCAD的比較：本文考慮了部分線性回歸模型中回歸參數(shù)向量估計(jì)的問題，提出了具有更好性質(zhì)的壓縮差分估計(jì)，并且研究了它的漸近性質(zhì)以及其風(fēng)險(xiǎn)函數(shù)。本部分還將 SCAD的懲罰函數(shù)運(yùn)用到模型中得到SCAD估計(jì)，然后通過Monte Carlo模擬了壓縮差分估計(jì)和SCAD估計(jì)的相關(guān)結(jié)果，并對(duì)它們之間的優(yōu)劣進(jìn)行了比較。從我們的模擬結(jié)果中可以發(fā)現(xiàn)

3、，在樣本量較小的時(shí)候，SCAD估計(jì)的效果并不如成熟的差分估計(jì)和本文提出的壓縮估計(jì)；但隨著樣本量的增加，SCAD估計(jì)的效果卻越來越好。SCAD與眾差分估計(jì)的比較將用表格和箱線圖的形式展現(xiàn)出來。⑵在線性模型中研究帶有異常點(diǎn)的非負(fù)變量選擇的研究：本部分在SROS估計(jì)的基礎(chǔ)上，介紹了SROS估計(jì)的相關(guān)性質(zhì)：SROS估計(jì)是幾乎回歸等變的；SROS估計(jì)與ROS估計(jì)具有相同的失效值，并且ROS估計(jì)具有最大的失效值。在此基礎(chǔ)上提出了非負(fù)SROS估計(jì)，并

4、證明了在非負(fù)SROS不可忽略條件下，非負(fù)SROS是具有變量選擇相合性的。在模擬部分，在三種不同的數(shù)據(jù)集中，通過殘差平方和對(duì)比參數(shù)值分別比較了LTS估計(jì)，ROS估計(jì)，LAD-lasso估計(jì)，SROS估計(jì)以及非負(fù)SROS估計(jì)的效果。通過模擬可以發(fā)現(xiàn)，本文提出的非負(fù)SROS估計(jì)，在要求參數(shù)為非負(fù)的情況下，具有比較好的表現(xiàn)，模擬出的參數(shù)值也是這幾個(gè)估計(jì)中最為接近真實(shí)值的。另外，在比較的過程中可以看到LAD-lasso估計(jì)也具有可取的優(yōu)勢(shì)。具體的