兩類復(fù)雜數(shù)據(jù)及相關(guān)模型的統(tǒng)計分析.pdf

1、在過去的幾十年里，隨著計算機的計算速度和存儲能力的提高，人們能夠收集、存儲和分析在金融市場、醫(yī)學(xué)診斷、生命科學(xué)、環(huán)境調(diào)查等各個領(lǐng)域大量涌現(xiàn)的復(fù)雜數(shù)據(jù)集。這些數(shù)據(jù)集往往有下面的特征：包含異常值，有觀測誤差，縱向抽樣，維數(shù)超高(大“p”，小“n”)等等。為了能夠處理各個科學(xué)領(lǐng)域出現(xiàn)的復(fù)雜數(shù)據(jù)，一方面我們需要拓展傳統(tǒng)的統(tǒng)計方法，另一方面我們更加迫切需要提出全新的統(tǒng)計方法。 本文主要考察兩類數(shù)據(jù)集：混雜了同一個協(xié)變量的數(shù)據(jù)集和含有異常值

2、的數(shù)據(jù)集。我們對前者做了回歸分析的研究，對后者做了判別分析和構(gòu)造穩(wěn)健擬似然框架的研究。Kaysen et a1.(2003)給出了一個“混雜了同一個協(xié)變量的數(shù)據(jù)”的例子--血液透析病人的纖維蛋白原的數(shù)據(jù).在該數(shù)據(jù)中人們感興趣的是纖維蛋白原水平和鐵傳遞蛋白水平的回歸關(guān)系.而這兩類蛋白水平都依賴于BMI(body mass index，weight/height2)，那么BMI必然會對回歸關(guān)系造成一定的扭曲.為了刻畫回歸中的這種扭曲并給出相

3、應(yīng)的調(diào)整方法，Sentürk和Müller(2005)建立了協(xié)變調(diào)整的線性回歸模型(CALR)，同時通過將該模型轉(zhuǎn)化成變系數(shù)模型得到了模型中參數(shù)的估計.在第二章中，我們給出了另一種直接估計參數(shù)的方法：第一步，用設(shè)計變量和響應(yīng)變量對協(xié)變量做回歸，從而得到扭曲函數(shù)的核平滑估計，繼而得到關(guān)于不可觀測的設(shè)計變量的估計和不可觀測的響應(yīng)變量的估計；第二步，利用估計的設(shè)計變量和響應(yīng)變量可得到參數(shù)的最小二乘估計。我們證明了新的估計方法所得估計的√n 一

4、致性和漸近正態(tài)性。同時我們給出了一個我們的方法具有更小的漸近方差的充分必要條件。與第二章所討論的數(shù)據(jù)類型相同，在第三章中，我們建立了協(xié)變調(diào)整的非線性模型(CANLR)并考察了該模型的性質(zhì)。同樣地，在該模型中，設(shè)計變量和響應(yīng)變量不能夠直接觀測到，觀測到的是被一些乘積因子混淆后的版本.由于非線性性的存在，Sentürk和Müller(2005)的估計方法不能直接用到CANLR模型的參數(shù)估計上.為此，我們沿用第二章中的估計方法可得設(shè)計變量和響

5、應(yīng)變量的估計，進而利用非線性最小二乘得到參數(shù)的估計。同樣地，我們考察了√n一致性和漸近正態(tài)性。然而由于漸近方差的結(jié)構(gòu)非常復(fù)雜并且含有很多未知待估的項，我們?nèi)绻谩罢龖B(tài)近似”的方法去構(gòu)造參數(shù)的置信域，效率會很低。為了避免估計漸近方差，我們采用經(jīng)驗似然的方法來構(gòu)造置信域.盡管在構(gòu)造的經(jīng)驗似然比中有無窮維的討厭參數(shù)的估計(扭曲函數(shù)的估計)插入，經(jīng)驗似然比的漸近分布仍然是卡方的。這就保證了用經(jīng)驗似然比建立置信域是可行的。異常值很有可能是一些含有

6、重要信息的數(shù)據(jù)點，像污染區(qū)域之于環(huán)境數(shù)據(jù)，或者不規(guī)則情形之于病人的在線監(jiān)護數(shù)據(jù).人們希望統(tǒng)計方法做到既能夠充分利用這些異常值信息又不要對異常值過于敏感.對于此類數(shù)據(jù)，我們在第四章中主要研究了穩(wěn)健的非參判別分析。首先我們定義了推廣的投影深度(EPD)，然后給出了判別準(zhǔn)則一未來的觀測值關(guān)于哪個總體具有最大EPD，則認為它來自那個總體。我們討論了基于EPD的判別準(zhǔn)則的穩(wěn)健性質(zhì)及其誤判概率的漸近性質(zhì)。進一步地，當(dāng)所考察總體的分布是橢球?qū)ΨQ時，基