經(jīng)驗(yàn)似然縱向數(shù)據(jù)的似然.pdf

1、本文主要對(duì)如何充分利用縱向數(shù)據(jù)的組內(nèi)相關(guān)性來(lái)提高對(duì)縱向數(shù)據(jù)半?yún)⒛Ｐ偷墓烙?jì)精度以及高維數(shù)據(jù)的變量選擇問(wèn)題進(jìn)行研究。縱向數(shù)據(jù)是對(duì)多個(gè)觀測(cè)主體的響應(yīng)變量和相應(yīng)的多個(gè)協(xié)變量進(jìn)行重復(fù)觀測(cè)形成的數(shù)據(jù)。對(duì)每個(gè)主體的觀測(cè)數(shù)據(jù)稱(chēng)為一組數(shù)據(jù)?？v向數(shù)據(jù)最主要的特征是組內(nèi)數(shù)據(jù)相關(guān)而組間數(shù)據(jù)獨(dú)立。對(duì)縱向數(shù)據(jù)進(jìn)行分析的難點(diǎn)就是如何充分利用組內(nèi)數(shù)據(jù)的相關(guān)性來(lái)提高統(tǒng)計(jì)推斷的精度。在第二章，我們將利用經(jīng)驗(yàn)似然方法對(duì)縱向數(shù)據(jù)的半?yún)⒛Ｐ偷幕貧w參數(shù)構(gòu)造置信域。眾所周知，與基于

2、漸近正態(tài)的方法或基于Bootstrap的方法相比較，經(jīng)驗(yàn)似然方法在構(gòu)造置信域時(shí)有很大的優(yōu)越性。本章的主要貢獻(xiàn)是充分利用了縱向數(shù)據(jù)的組內(nèi)相關(guān)性來(lái)提高估計(jì)精度。我們的方法是：首先，我們?yōu)槊總€(gè)主體的觀測(cè)數(shù)據(jù)的誤差假設(shè)一個(gè)半?yún)⒌膮f(xié)方差結(jié)構(gòu)。然后，我們同時(shí)利用觀測(cè)數(shù)據(jù)的一階矩和二階矩條件來(lái)構(gòu)造估計(jì)方程。其中的討厭參數(shù)被profile掉了。由于在估計(jì)方程中插入了未知分量的非參估計(jì)，我們采用了under-smoothing技術(shù)來(lái)保證所得到的對(duì)數(shù)經(jīng)驗(yàn)似

3、然比統(tǒng)計(jì)量漸近收斂于標(biāo)準(zhǔn)卡方分布。我們還做了大量的統(tǒng)計(jì)模擬來(lái)驗(yàn)證我們提出的方法的優(yōu)越性。受很多實(shí)際應(yīng)用的激勵(lì)，近年來(lái)人們對(duì)高維數(shù)據(jù)的研究有了很大的進(jìn)展。一些為傳統(tǒng)的低維數(shù)據(jù)設(shè)計(jì)的統(tǒng)計(jì)方法已經(jīng)無(wú)法適應(yīng)現(xiàn)代統(tǒng)計(jì)學(xué)的要求。進(jìn)行高維數(shù)據(jù)分析的重點(diǎn)是如何利用數(shù)據(jù)結(jié)構(gòu)的特征進(jìn)行降維。如果在高維數(shù)據(jù)中，有很多的預(yù)測(cè)變量是冗余的，也就是說(shuō)這些變量根本不含有響應(yīng)變量的信息，那么，有效地分辨出哪些預(yù)測(cè)變量是重要的，哪些是冗余的，可以幫助我們建立一個(gè)解釋性更

4、強(qiáng)、更有用的模型。在第三章，我們將考慮似然情況下的變量選擇問(wèn)題。Dantzig方法自提出就受到了廣泛的關(guān)注。Dantzig方法主要適應(yīng)于參數(shù)是高維且稀疏情形的線(xiàn)性模型：Y=Xβ+∈，其中Y是n×1響應(yīng)變量，X是n×p預(yù)測(cè)變量的矩陣，β是p維且稀疏的參數(shù)向量，∈是n×1的零均值、獨(dú)立同分布的誤差項(xiàng)。Dantzig的原理是：假設(shè)∈是正態(tài)分布，在將得分函數(shù)的取值控制在一定的范圍內(nèi)的同時(shí)，找尋那個(gè)使參數(shù)β的e1范數(shù)達(dá)到最小的參數(shù)值，此向量即為我

5、們的解。在第三章，我們將Dantzig方法的思想推廣到了一般的似然情況。我們的方法是：首先得到未知參數(shù)的極大似然估計(jì)βmle，然后，將得分函數(shù)在βmle點(diǎn)Taylor展開(kāi)，得到得分函數(shù)的一個(gè)線(xiàn)性近似，然后我們就可以利用Dantzig已有的分析方法討論它的統(tǒng)計(jì)性質(zhì)了。我們的方法在參數(shù)維數(shù)隨樣本容量一起趨于無(wú)窮時(shí)也表現(xiàn)良好。我們研究了解的存在唯一性，并且得到了解的相合和漸近正態(tài)性。為了確保模型選擇的相合性，我們提出了基于似然的Adaptiv

6、e Dantzig方法并得到其Oracle性質(zhì)。最后，我們做了大量的統(tǒng)計(jì)模擬來(lái)驗(yàn)證我們所提出的方法的優(yōu)良特性。
　　 在實(shí)際應(yīng)用中，高維問(wèn)題的參數(shù)經(jīng)常具有某種分組結(jié)構(gòu)，即，每組參數(shù)同時(shí)為零或同時(shí)非零。通常的例子就是多元的ANOVA問(wèn)題以及非參成分的可加模型。在以上的情況中，進(jìn)行變量選擇等同于對(duì)一組變量進(jìn)行選擇而非選擇單個(gè)的變量。在這類(lèi)變量選擇問(wèn)題中如何充分利用這種結(jié)構(gòu)是我們要加以考慮的重要問(wèn)題。在第四章中，考慮到每組中元素的個(gè)數(shù)