有限混合分布模型與線性模型的估計(jì)和檢驗(yàn)問(wèn)題.pdf

1、數(shù)理統(tǒng)計(jì)學(xué)的任務(wù),歸根結(jié)底,是研究者通過(guò)一組受到隨機(jī)性干擾的數(shù)據(jù),加上主觀對(duì)這組數(shù)據(jù)的認(rèn)識(shí),用適當(dāng)?shù)慕y(tǒng)計(jì)方法,對(duì)所考慮的問(wèn)題作出統(tǒng)計(jì)推斷。在傳統(tǒng)的參數(shù)統(tǒng)計(jì)中,人們習(xí)慣于首先假設(shè)樣本數(shù)據(jù)來(lái)自某個(gè)分布總體,然后基于這個(gè)總體,進(jìn)行后續(xù)的統(tǒng)計(jì)推斷研究。近二十幾年來(lái),隨著科學(xué)技術(shù)及社會(huì)生產(chǎn)力的飛速發(fā)展,人們所面對(duì)的世界越來(lái)越復(fù)雜化：作為統(tǒng)計(jì)研究者,我們所面臨的數(shù)據(jù)同樣越來(lái)越復(fù)雜。鑒于在很多情形下,樣本數(shù)據(jù)情況復(fù)雜,不同局部可能有不同的特性,單一的

2、參數(shù)分布族無(wú)法確切地描述觀測(cè)數(shù)據(jù),人們想到用有限混合分布模型對(duì)廣泛的隨機(jī)現(xiàn)象進(jìn)行統(tǒng)計(jì)建模。理論證明,任何有限分布町由等協(xié)差陣的Gauss分布的有限混合任意逼近。這為有限混合分布模型的有效性提供了理論基礎(chǔ)。通過(guò)適當(dāng)選擇分量,它可對(duì)異常復(fù)雜的分布進(jìn)行建模。特別是,當(dāng)觀測(cè)數(shù)據(jù)有局部變化,而單一的參數(shù)分布族無(wú)法確切地描述觀測(cè)數(shù)據(jù)時(shí),有限混合分布模型表現(xiàn)出色。與此同時(shí),實(shí)踐同樣證明了有限混合分布模型具有良好的適應(yīng)性。因而近二十幾年來(lái),有限混合分布

3、模型獲得了迅速并且深入的發(fā)展,廣泛應(yīng)用于社會(huì)各領(lǐng)域,尤其是生物學(xué),基因工程,心理學(xué),信息科學(xué),金融保險(xiǎn)等領(lǐng)域。它在統(tǒng)計(jì)數(shù)據(jù)分析中扮演著越來(lái)越重要的角色。除有限混合分布模型,本文還研究了線性模型。線性模型是數(shù)理統(tǒng)計(jì)學(xué)中發(fā)展較早、理論豐富且應(yīng)用性很強(qiáng)的一個(gè)重要分支。在過(guò)去幾十年中,線性模型不僅在理論研究方面甚為活躍,而且在經(jīng)濟(jì)、金融、醫(yī)藥衛(wèi)生、教育心理等社會(huì)各領(lǐng)域的應(yīng)用也日漸廣泛。 本文研究了有限混合分布模型和線性模型中的統(tǒng)計(jì)推斷問(wèn)

4、題,包括參數(shù)估計(jì),估計(jì)的算法,假設(shè)檢驗(yàn),穩(wěn)健性等。現(xiàn)將主要內(nèi)容概述如下： 一、在假設(shè)檢驗(yàn)方面,本文主要研究了正態(tài)混合分布模型的同構(gòu)性檢驗(yàn)問(wèn)題,也就是說(shuō),檢驗(yàn)觀測(cè)數(shù)據(jù)究竟是來(lái)自單一的正態(tài)總體,還是混合正態(tài)總體。近二十年來(lái)該檢驗(yàn)問(wèn)題備受關(guān)注。這就是本文的第二章所研究的問(wèn)題。本文在Chen(2003)的基礎(chǔ)上,去掉等方差的條件。首先,通過(guò)定義二維歐氏空間中的Lebesgue-Stieltjes測(cè)度,將混合正態(tài)分布的概率密度函數(shù)表示為在

5、此測(cè)度上的L-S積分,由此得到了在新參數(shù)下模型的可識(shí)別性；接著,研究了參數(shù)的極大似然估計(jì)在原假設(shè)成立,即單一正態(tài)總體時(shí)的大樣本性質(zhì),得到了其相合性；最后,研究似然比的大樣本性質(zhì),證明了在原假設(shè)成立,即單一正態(tài)總體時(shí),混合正態(tài)分布模型的似然比檢驗(yàn)統(tǒng)計(jì)量漸近地服從均值0,方差1的兩參數(shù)截尾高斯過(guò)程的平方的上確界與自由度為2的卡方分布的最大值。 二、在參數(shù)估計(jì)方面,本文以混合轉(zhuǎn)移分布模型作為基本模型。混合轉(zhuǎn)移分布模型,又稱高階可和馬爾

6、可夫鏈,簡(jiǎn)單來(lái)說(shuō),就是高階馬爾可夫鏈的不同滯后對(duì)目前時(shí)刻的影響是可分并且可和的。高階馬爾可夫鏈的一個(gè)很大的困擾是,當(dāng)階數(shù)ι和有限維狀態(tài)空間χ中元素的個(gè)數(shù)m增加時(shí),待估的獨(dú)立參數(shù)的個(gè)數(shù)呈指數(shù)級(jí)增長(zhǎng),給統(tǒng)計(jì)推斷帶來(lái)了極大的困難。正是在這種困擾中,Raftery(1985)第一次使用混合轉(zhuǎn)移分布模型來(lái)近似時(shí)齊高階馬爾可夫鏈。與高階馬爾可夫鏈的完全參數(shù)模型相比,混合轉(zhuǎn)移分布模型擁有少得多的參數(shù)。故其具有簡(jiǎn)單,易于分析、模擬、估計(jì)等優(yōu)點(diǎn)。值得注意

7、的是,它同時(shí)也是有限混合分布模型,所以它還表現(xiàn)出善于描述隨機(jī)變量在非單一模型中廣泛的非標(biāo)準(zhǔn)行為,如非高斯性及非線性等特征。因此,混合轉(zhuǎn)移分布模型自從1985年被引入后,不論在理論上還是在實(shí)踐中都得到了極大的推廣和發(fā)展。本文以混合轉(zhuǎn)移分布模型作為基本模型,研究其參數(shù)估計(jì)問(wèn)題。 1.第三章研究了基于正態(tài)分布與廣義極值分布的混合轉(zhuǎn)移分布模型的參數(shù)估計(jì)問(wèn)題。在混合轉(zhuǎn)移分布模型建模時(shí),著眼于20世紀(jì)80年代以來(lái),國(guó)際上一連串金融、IT、資本運(yùn)營(yíng)等

8、行業(yè)危機(jī)的爆發(fā),充分考慮到可能引起嚴(yán)重后果的極端事件或小概率事件,利用極值理論方法,有效地對(duì)隨機(jī)序列的最犬(小)值的概率分稚和數(shù)據(jù)序列的邊際概率分布尾部進(jìn)行建模,建立了基于高斯分布與廣義極值分布的混合轉(zhuǎn)移分布模型：得到了在該模型下,時(shí)間序列一階平穩(wěn)與k階平穩(wěn)的充分必要條件。并推導(dǎo)出在時(shí)間序列二階平穩(wěn)的條件下,一階自相關(guān)函數(shù)與二階自相關(guān)函數(shù)的關(guān)系式：最后,應(yīng)用EM算法求出模型中各參數(shù)的極大似然估計(jì),給出它們的估計(jì)方程。 2.第四章

9、研究了基于Weibull分布的混合轉(zhuǎn)移分布模型的參數(shù)估計(jì)問(wèn)題。首先給出基于Weibull分布的混合轉(zhuǎn)移分布模型的一階與k階平穩(wěn)的充分必要條件；接著,應(yīng)用EM算法,得到了參數(shù)的極大似然估計(jì)及它們的標(biāo)準(zhǔn)誤差：然后,應(yīng)用Bootstrap方法,得到了參數(shù)的置信區(qū)間；最后,通過(guò)模擬與實(shí)例分析,說(shuō)明該模型在分析來(lái)自金融、保險(xiǎn)等某些厚尾分布的數(shù)據(jù)時(shí),在參數(shù)估計(jì)方面的表現(xiàn)優(yōu)于高斯混合轉(zhuǎn)移分布模型。 三、在第三章與第四章我們使用EM算法計(jì)算參數(shù)

10、的極大似然估計(jì),第五章研究了基于Newton-Raphson算法的Monte Carlo EM加速算法。受Monte Carlo EM算法與EM加速算法啟發(fā),本文構(gòu)造了一種新的EM算法,稱為Monte Carlo EM加速算法；證明了該算法在似然函數(shù)/后驗(yàn)分布的眾數(shù)的附近確實(shí)具有二次收斂速度,改進(jìn)了Monte Carlo EM算法的收斂速度：并通過(guò)一個(gè)數(shù)值例子的計(jì)算結(jié)果說(shuō)明了該算法的優(yōu)良性,它兼具實(shí)現(xiàn)簡(jiǎn)單及收斂速度快的特點(diǎn)。 四

11、、第六章研究線性模型參數(shù)估計(jì)的穩(wěn)健性問(wèn)題。在一般線性模型中,參數(shù)的可估函數(shù)的常用估計(jì)有廣義最小二乘估計(jì),高斯馬爾可夫估計(jì),方差的最小范數(shù)二次無(wú)偏估計(jì)等,本文研究了這些估計(jì)關(guān)于誤差分布的穩(wěn)健性問(wèn)題。具體地說(shuō),就是研究隨機(jī)誤差的最大分布族,使得隨機(jī)誤差項(xiàng)的分布在該范圍內(nèi)變動(dòng)時(shí),上述估計(jì)量仍不失原有的統(tǒng)計(jì)優(yōu)良性。 綜上所述,本文較為系統(tǒng)、深入地研究了有限混合分布模型和線性模型的統(tǒng)計(jì)推斷問(wèn)題,包括混合正態(tài)分布模型同構(gòu)性檢驗(yàn)的一般性問(wèn)題,

12、混合轉(zhuǎn)移分布模型的建立,模型中參數(shù)的極大似然估計(jì),黃信區(qū)間,估計(jì)的算法以及線性模型中參數(shù)估計(jì)的穩(wěn)健性等。在有限混合分布模型的假設(shè)檢驗(yàn)方面,比較徹底地解決了兩個(gè)正態(tài)混合分布模型同構(gòu)性檢驗(yàn)的一般性問(wèn)題,發(fā)展了Chen(2003)的結(jié)果；在有限混合分布模型建模時(shí),結(jié)合實(shí)際,提出了基于正態(tài)分布與廣義極值分布的混合轉(zhuǎn)移分布模型以及基于Weibull分布的混合轉(zhuǎn)移分布模型；在估計(jì)的算法方面,改進(jìn)了Louis(1982)的結(jié)果,提出了一種既便于計(jì)算,