基于懲罰似然的變量選擇方法及其在高維數(shù)據(jù)中的應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，我們能夠獲得到的數(shù)據(jù)信息量和變量維數(shù)越來(lái)越大。如何從眾多候選模型中選擇最佳的一個(gè)，就成為計(jì)量經(jīng)濟(jì)學(xué)重要的研究?jī)?nèi)容。好的變量選擇方法能夠改變傳統(tǒng)方法存在的計(jì)算量大和過(guò)度擬合等問(wèn)題，選出的模型有良好的預(yù)測(cè)精度和預(yù)測(cè)能力，有效地排除掉干擾變量，獲得最簡(jiǎn)潔的模型。懲罰似然函數(shù)法作為連續(xù)的最優(yōu)化過(guò)程，與傳統(tǒng)的離散方法相比更穩(wěn)定，即使變量個(gè)數(shù)很大時(shí)，通過(guò)運(yùn)用合理的算法也能有效的執(zhí)行。因此對(duì)于高維數(shù)據(jù)模型來(lái)說(shuō)，用懲罰似然函數(shù)法

2、來(lái)進(jìn)行模型選擇將會(huì)更加有效，準(zhǔn)確，穩(wěn)定。
　　本文基于懲罰似然函數(shù)方法，研究了幾類高維數(shù)據(jù)模型的變量選擇方法，獲得的方法能夠同時(shí)進(jìn)行模型選擇和變量估計(jì);此外，運(yùn)用概率論和數(shù)理統(tǒng)計(jì)知識(shí)證明了估計(jì)量具有Oracle性質(zhì)，包括能夠以概率趨于1正確地選擇模型以及估計(jì)量漸近地服從正態(tài)分布。具體來(lái)說(shuō)，本文研究的方法及主要結(jié)論如下:
　　首先，本文提出了高維數(shù)據(jù)模型自適應(yīng)橋估計(jì)方法。受橋估計(jì)方法的啟發(fā)，本文按照變量的重要性程度對(duì)懲罰項(xiàng)施加

3、不同的權(quán)重，研究自適應(yīng)橋估計(jì)量是否滿足好的估計(jì)量的標(biāo)準(zhǔn)，即是否具有Oracle性質(zhì)，包括能否以概率趨于1正確地選擇模型以及估計(jì)量是否漸近地服從正態(tài)分布。本文證明了在適當(dāng)?shù)臈l件下，自適應(yīng)橋估計(jì)方法具有Oracle性質(zhì)。通過(guò)隨機(jī)模擬和實(shí)際數(shù)據(jù)來(lái)評(píng)價(jià)自適應(yīng)橋估計(jì)方法的良好的數(shù)值表現(xiàn)和實(shí)證表現(xiàn)。
　　其次，本文研究了高維數(shù)據(jù)線性回歸模型的M-估計(jì)方法，討論了懲罰項(xiàng)為局部線性逼近情形下的估計(jì)量的性質(zhì)。M-估計(jì)方法是涵蓋最小一乘估計(jì)、分位數(shù)回

4、歸、最小二乘估計(jì)以及Huber回歸的框架性方法。當(dāng)數(shù)據(jù)出現(xiàn)異常值或誤差項(xiàng)服從厚尾分布時(shí)，此時(shí)M-估計(jì)的特殊情形——最小一乘回歸比最小二乘估計(jì)更加穩(wěn)健。本文在理論上證明，通過(guò)施加一定的條件，M-估計(jì)和局部線性逼近結(jié)合作為目標(biāo)函數(shù)獲得的估計(jì)量具有良好的大樣本性質(zhì);在數(shù)值模擬部分，選擇了編寫(xiě)合適的算法展現(xiàn)了該方法具有更好的穩(wěn)健性;對(duì)于超高維數(shù)據(jù)模型，我們也通過(guò)模擬說(shuō)明向后回歸與我們提出的方法相結(jié)合表現(xiàn)更好;在實(shí)證部分，通過(guò)實(shí)際數(shù)據(jù)說(shuō)明了我們提