期望相依和異方差檢驗以及非稀疏高維模型的推斷.pdf

1、本論文中，我們考慮兩個問題:關(guān)于期望相依和異方差的檢驗問題，以及對轉(zhuǎn)換模型的估計問題。論文的檢驗部分，我們考慮了兩類檢驗:正期望相依的檢驗和單指標(biāo)模型的異方差的檢驗。第二個問題中，我們考慮了高維非稀疏線性變換模型的估計問題。無論是在理論上還是實際數(shù)據(jù)中，檢驗和高維數(shù)據(jù)作為統(tǒng)計的兩個主旋律，變得越來越重要。
　　1.期望相依檢驗Wright(1987)[88]首先提出了一階期望相依的概念，隨后Li(2011)[54]把這個概念推廣到

2、高階情況。這一概念已被廣泛的用于研究經(jīng)濟(jì)問題和金融問題，如投資組合和資產(chǎn)配置，風(fēng)險評估的需求，投資組合多樣化和最有投資等問題中。
　　無可厚非，在相依的框架下，一階期望相依比隨機變量之間的相關(guān)性更加嚴(yán)格。盡管期望相依這個概念在近年來得到廣泛關(guān)注，但是在實際數(shù)據(jù)中，正期望相依或負(fù)期望相依是否成立并不是很顯而易見的。如果在沒有任何統(tǒng)計推斷的情況，而直接假設(shè)這種類型的相依結(jié)構(gòu)成立可能會導(dǎo)致我們在股權(quán)溢價和資產(chǎn)配置中得到非常糟糕的結(jié)果。據(jù)

3、我們所知，期望相依的檢驗并沒有得到應(yīng)有的關(guān)注。
　　論文的第一部分中，我們首先利用一階正期望相依的等價形式重新定義了原假設(shè)和備擇假設(shè)。由此我們對一階正期望相依提出了一個柯爾莫哥洛夫-斯米爾諾夫型的檢驗統(tǒng)計量并且進(jìn)一步研究了相關(guān)的漸近性質(zhì)。這些性質(zhì)表明我們提出的檢驗統(tǒng)計量能夠很好的控制第一類錯誤，并且在檢測全局備擇假設(shè)時是相合的。另外，這個檢驗統(tǒng)計量能夠檢測出接近1/√n的速度收斂到原假設(shè)的局部備擇假設(shè)，其中1/√n的速度是假設(shè)檢驗

4、問題中最快的收斂速率。進(jìn)一步，我們推廣這一檢驗統(tǒng)計量到高階的情況，并且得到了平行于一階情況對應(yīng)的漸近性質(zhì)。在檢驗的實施過程中，由于樣本分布和原假設(shè)下的極限分布是不可操作的，為了實施我們提出的這類檢驗方法，我們建議使用非參數(shù)蒙特卡羅檢驗去確定p值或者臨界值。
　　2.單指標(biāo)模型的異方差檢驗對于因變量Y和p維的解釋變量X，單指標(biāo)模型具有下面的形式:Y=g(X(T)β)+ε, E(ε|X)=0,(0.0.1)其中g(shù)(·)是一個未知的光滑

5、函數(shù)，β是p維未知參數(shù)向量，給定X，并且殘差相ε的條件期望是0。另外，式子(0.0.1)中的記號X(T)表示X的轉(zhuǎn)置。為了可識別性的考慮，我們假設(shè)參數(shù)向量β滿足‖β‖=1并且它的第一個非零參數(shù)是正的，其中‖·‖表示歐式范數(shù)。如果連接函數(shù)g(·)是提前給定的，單指標(biāo)模型就可以縮減為廣義線性模型。因此，單指標(biāo)模型有相對靈活的模型結(jié)構(gòu)。更進(jìn)一步，相比較完全的非參數(shù)回歸模型，單指標(biāo)模型覆蓋了Y關(guān)于一維變量X(T)β的信息。這個特征說明單指標(biāo)模型

6、仍然有很好的解釋性。相比較非參數(shù)模型，也避免了維數(shù)災(zāi)難的問題。因此，在參數(shù)和非參數(shù)回歸模型之間作為一個妥協(xié)，單指標(biāo)模型已經(jīng)在多個研究領(lǐng)域得到了廣泛的關(guān)注，例如經(jīng)濟(jì)和統(tǒng)計中，見Powell et.al.(1989)[69]和Ichimura(1993)[49]。
　　對單指標(biāo)模型的均值函數(shù)估計問題，存在大量的文獻(xiàn)廣泛的討論這個問題，例如:Ichimura(1993)[49]對一般的結(jié)構(gòu)模型提出了半?yún)?shù)最小二乘估計，H(a)rdle和

7、Stoker(1989)[44]發(fā)展了一個平均微分估計，使得這個估計以n-1/2的速度收斂到指標(biāo)參數(shù)的真值。Xia et al.(2002)[85]提出了一個適應(yīng)方法，稱最小平均方差估計(MAVE)，它在一個相對弱的條件下可用于估計單指標(biāo)模型。Cui et al.(2011)[17]介紹了一個估計函數(shù)去研究單指標(biāo)模型，Sheng和Yin(2013)[72]更進(jìn)一步基于距離協(xié)方差提出了一個新的估計方法。然而，在面對異方差的時候，這些估計在

8、有效性方面表現(xiàn)的非常差，甚至是不相合的。因此異方差檢驗對于單指標(biāo)模型來說是一個非常重要的問題。
　　論文的第二部分，我們根據(jù)不同的模型結(jié)構(gòu)發(fā)展了兩個檢驗統(tǒng)計量。第一個是核光滑類非參數(shù)檢驗，它可以用于檢測一般的非參數(shù)異方差。事實上，在備擇假設(shè)下，不論有沒有假設(shè)特定的方差函數(shù)形式，這個檢驗統(tǒng)計量可以用于異方差檢測。然而當(dāng)協(xié)變量的維數(shù)比較大時候，在非參數(shù)估計時，會遭受所謂的維數(shù)災(zāi)難。當(dāng)均值函數(shù)和方差函數(shù)有相同的降維結(jié)構(gòu)并且分享同一個指標(biāo)

9、，我們結(jié)合降維結(jié)構(gòu)發(fā)展了一個檢驗統(tǒng)計量，從而使得這個檢驗可以避免維數(shù)災(zāi)難。通過數(shù)值模擬比較，發(fā)現(xiàn)一些很有趣的特征是:當(dāng)降維結(jié)構(gòu)成立的時候，相比第一個檢驗統(tǒng)計量，第二檢驗方法在原假設(shè)下以一個很快的收斂速度收斂到極限分布，并且它可以檢測出一個以更快的速度收斂到原假設(shè)的局部備擇假設(shè)。但是，當(dāng)降維結(jié)構(gòu)不成立的時候，第二檢驗統(tǒng)計量表現(xiàn)的比較差。也就說，這個方法在違反了降維結(jié)構(gòu)的時候，它是不穩(wěn)健的。
　　3.高維非稀疏變換模型基于擬工具變量的

10、統(tǒng)計推斷考慮下面的線性變換模型:
　　H(Y)=X(T)β+∈，(0.0.2)其中Y是因變量，H(·)表示已知或未知的單調(diào)變換函數(shù)，X=（X1，X2，…，Xp）(T)是一個p維預(yù)測向量，β=（β1，β2,…，βp）(T)是我們感興趣的回歸參數(shù)向量，殘差項(ε)服從連續(xù)分布并與X相互獨立。這個模型避開了所謂的維數(shù)災(zāi)難，被廣泛應(yīng)用到現(xiàn)代的許多科學(xué)領(lǐng)域，如基因芯片技術(shù)，醫(yī)療成像，文字識別，金融和化學(xué)計量學(xué)。
　　當(dāng)H(·)是已知函

11、數(shù)時，模型(0.0.2)包含了非常著名的比例風(fēng)險模型和比例優(yōu)勢模型，這兩個模型均被廣泛的研究;另一方面，當(dāng)H(·)是未知的，模型(0.0.2)變成一個經(jīng)典的半?yún)⒛Ｐ?，并且許多文獻(xiàn)深入研究了這類半?yún)?shù)模型。一般來說，高維回歸模型一個顯著特征是維數(shù)p很大但樣本量n相對較小。此外，在高維回歸模型中，通常假設(shè)許多預(yù)測變量對響應(yīng)變量并不重要，所以變量選擇是十分必要的。作為一個降維工具，變換模型自然而然的也會面臨高維的情況。提出的許多變量選擇的方法

12、通過懲罰或者收縮的方式。這些方法包括但不限于懲罰偏似然法(Tibshirani，1997[77])懲罰邊際似然法(Lu和Zhang，2007，[61])，基于鞅估計方程的方法(Zhang et al.2010，[93])，和懲罰光滑秩相關(guān)方法(Lin和Peng2012，[57])。另一類重要的方法是基于Fan和Lv(2008)[33]提出的特征篩選的想法，例如，Zhu et al.(2011)[98]和Li et al.(2012)[5

13、3]。
　　值得注意的是，在某些特定的技術(shù)條件下，對于稀疏線性模型，LASSO(Tib-shirani，1996，[76])和Dantzig selector(Candés和Tao，2007，[7])估計的理想風(fēng)險率分別是√/log(p)s/n和√/log(p)s/(kn)，其中s表示非零系數(shù)的個數(shù)，k和約束特征值假設(shè)相關(guān)，具體細(xì)節(jié)見文獻(xiàn)Zhang和Huang(2008)[91]和Peter et al.(2009)[66]。對于

14、廣義非線性模型，Van de Geer(2008)[81]建立一個與l1懲罰估計量相似的結(jié)果。在廣義線性模型的框架下，F(xiàn)an和Lv(2011)提出的懲罰似然方法得到的風(fēng)險率是√log(n)s/n。然而，當(dāng)p和s很大時，相應(yīng)的風(fēng)險率變得非常大甚至在實際應(yīng)用中無法接受。為了降低風(fēng)險率，并且得到更快的收斂速度，最近Belloni和Chernozhukov(2013)[2]對線性模型提出先變量選擇，在進(jìn)行最小二乘的估計方法。
　　更需要指

15、出的是，稀疏條件并不是一個合理的假設(shè)條件，這是因為實數(shù)據(jù)分析中，既不能檢測也不能證明這一條件成立與否。為了得到這個條件對估計的影響，簡單起見，我們假設(shè)前q個預(yù)測變量是比較重要預(yù)測變量，用(L)={1，2,…，q}來表示;后面的p-q個預(yù)測變量表示不重要但是也沒必要對響應(yīng)變量Y是無關(guān)的。我們把X和β分別寫成X=(Z(T)，U(T))(T)和β=(v(T)，(v)(T))(T)，其中Z=(X1，…，Xq)(T)并且U=(Xq+1,…，Xp)

16、(T).對應(yīng)地，我們考慮下面的工作模型:H(Y)=Z(T)v+(ε)，(0.0.3)其中(ε)=U(T)(v)+(ε)表示誤差項。很自然，我們可以通過諸如LASSO之類的變量選擇方法獲得這種工作模型。然而，在模型(0.0.2)是非稀疏的情況下，有一些相對重要的變量在變量選擇的時候可能會被忽略了。在這種情況下，如果Z與U的某些項是相關(guān)的，那么一般情況下式成立:E（(ε)|Z）=p∑j=q+1βjE（Xj|Z）≠0.(0.0.4)上述不等式

17、意味著工作模型(0.0.3)是有偏模型。因此，使用傳統(tǒng)的估計方法得到v的相合估計會面臨很大的挑戰(zhàn)。我們借用計量經(jīng)濟(jì)學(xué)的術(shù)語，模型(0.0.4)中的預(yù)測變量稱為內(nèi)生變量(Fan和Liao，2014，[32])，即完整模型(0.0.2)中相對應(yīng)于那些相對重要變量。因此，期望得到一個無偏的工作模型可以與全模型有相同的等價形式是不合理的。
　　論文第三部分中，首先我們對非稀疏模型定義相對重要的解釋變量并且識別LASSO方法變量選擇后的工作

18、模型。通過LASSO變量選擇之后，構(gòu)造擬工具變量，從而構(gòu)建一個偏校正的工作模型，即:一個無偏的部分線性模型，但是這個模型并不是傳統(tǒng)意義上的部分線性模型。在一個非稀疏高維轉(zhuǎn)換模型的框架下，我們得到了一個√n相合的估計。更加重要的是，對相對重要的變量對應(yīng)的系數(shù)，我們得到了的估計是漸近正態(tài)的。最后，因為這個新的估計方法，涉及到一個非參數(shù)估計，如果擬工具變量的維數(shù)變大的時候，這也許會導(dǎo)致無效的估計。因此，在不損失太多信息的情況下，我們提出了一個