回歸模型中變量選擇的若干問(wèn)題研究.pdf

1、在多元線性回歸建模中，自變量的選擇至關(guān)重要，一般從預(yù)測(cè)的準(zhǔn)確性和模型的可解釋性?xún)蓚€(gè)方面進(jìn)行約束自變量個(gè)數(shù)的選擇.數(shù)目眾多的自變量可以反映更多響應(yīng)變量的信息，從而達(dá)到更高的預(yù)測(cè)準(zhǔn)確性，然而太多的自變量將導(dǎo)致模型可解釋性減弱，應(yīng)用價(jià)值大打折扣;自變量的太少的話，不足以反映響應(yīng)變量的信息，因而預(yù)測(cè)準(zhǔn)確性顯著降低.
　　變量選擇問(wèn)題的研究中，大多是在普通最小二乘法的基礎(chǔ)上，附加關(guān)于待估計(jì)參數(shù)的約束條件，也就是增加懲罰函數(shù)，轉(zhuǎn)化為懲罰最小二

2、乘法.由于約束條件的壓縮作用，會(huì)使得部分待估計(jì)參數(shù)變?yōu)?，從而實(shí)現(xiàn)變量選擇的目的.此類(lèi)方法中的常用經(jīng)典算法有LASSO算法、適應(yīng)性LASSO算法、SCAD算法以及彈性網(wǎng)算法.
　　本文考慮待估計(jì)參數(shù)受到隨機(jī)因素的影響前提下，建立了新的懲罰函數(shù)及懲罰最小二乘估計(jì)方法，并對(duì)該方法進(jìn)行評(píng)價(jià)，具體內(nèi)容如下:
　　首先，系統(tǒng)介紹了變量選擇方法的發(fā)展過(guò)程、通過(guò)添加懲罰函數(shù)來(lái)實(shí)現(xiàn)變量選擇的基本思想;詳細(xì)分析了LASSO算法、適應(yīng)性LASS

3、O算法、SCAD算法以及彈性網(wǎng)算法的建立過(guò)程和各自的優(yōu)缺點(diǎn):由于LASSO算法中懲罰函數(shù)的特性，導(dǎo)致在變量選擇時(shí)選取的自變量個(gè)數(shù)偏多，同時(shí)存在多重共線時(shí)LASSO算法效果很差，于是適應(yīng)性LASSO算法在LASSO的基礎(chǔ)上進(jìn)行改進(jìn)，使得估計(jì)所得系數(shù)更加稀疏，選擇更少的自變量;SCAD算法效果更加更明顯，不僅可以選擇更少的自變量，同時(shí)所得估計(jì)量滿(mǎn)足稀疏性、無(wú)偏性、連續(xù)性以及Oracle等一系列優(yōu)良性質(zhì);彈性網(wǎng)方法是將LASSO與經(jīng)典的嶺回歸

4、法結(jié)合而建立的新的變量選擇方法，該方法主要優(yōu)勢(shì)在于處理自變量中出現(xiàn)組效應(yīng)時(shí)的情形.
　　其次，考慮到Gamma分布和Weibull分布是兩類(lèi)重要的壽命分布類(lèi)，具有廣泛的應(yīng)用，于是分別假定參數(shù)受到的隨機(jī)影響因素服從Gamma分布和Weibull分布，建立了新的懲罰函數(shù)以及懲罰最小二乘估計(jì)方法.文中通過(guò)層次極大似然估計(jì)法構(gòu)造新的懲罰函數(shù)，討論了懲罰函數(shù)性質(zhì)，給出了參數(shù)估計(jì)的方法并證明新建立的懲罰最小二乘量滿(mǎn)足Oracle性質(zhì).