時(shí)間序列分析方法 第05章 最大似然估計(jì)

1、時(shí)間序列分析方法講義第5章最大似然估計(jì)1第五章最大似然估計(jì)在本章中我們開(kāi)始討論時(shí)間序列模型的參數(shù)估計(jì)方法，其中極大似然估計(jì)是一種最為常用的參數(shù)估計(jì)方法。我們僅僅討論極大似然估計(jì)的原理和似然函數(shù)的推導(dǎo)，而對(duì)獲取極大似然估計(jì)的算法不加以詳述。5.1引言5.1.1ARMA模型的極大似然估計(jì)模型的極大似然估計(jì)假設(shè)數(shù)據(jù)的真實(shí)生成過(guò)程是一個(gè)過(guò)程，則該過(guò)程的數(shù)據(jù)生成機(jī)制為：)(qpARMAqtqttptptttYYYcY???????????????

2、?????????112211其中是白噪聲序列，滿(mǎn)足：t???????tstsEts0)(2???我們將要討論如何利用的觀(guān)測(cè)值來(lái)估計(jì)母體參數(shù)：tY)(22121???????qpc???θ我們將要采用的方法是極大似然估計(jì)方法，因此需要獲得似然函數(shù)的表達(dá)式。假設(shè)獲得了個(gè)樣本，如果能夠計(jì)算出相應(yīng)的聯(lián)合概率密度函數(shù)：T)(21Tyyy?)(21)(1θTYYyyyfT??上述函數(shù)可以視為在給定參數(shù)下樣本發(fā)生的概率，因此合理的參數(shù)取值是使得上述

3、概率最大，如此參數(shù)便稱(chēng)為極大似然估計(jì)。這時(shí)我們需要極大化上述聯(lián)合概率密度。為此，我們假設(shè)噪聲序列是高斯白噪聲序列，即)0(...~2??Ndiit雖然這個(gè)假設(shè)非常強(qiáng)，但是在這樣假設(shè)下得到的參數(shù)估計(jì)，對(duì)于非Gauss過(guò)程來(lái)說(shuō)θ?也是很有意義的。具體求解極大似然估計(jì)的步驟是：一是先求出并計(jì)算似然函數(shù)，二是求似然函數(shù)的最大值。這里涉及到一些代表性的非線(xiàn)性數(shù)值優(yōu)化問(wèn)題。5.2高斯高斯過(guò)程的似然函數(shù)過(guò)程的似然函數(shù))1(AR假設(shè)數(shù)據(jù)生成過(guò)程是一個(gè)具

4、有高斯白噪聲序列的過(guò)程：)1(ARtttYcY??????11這時(shí)對(duì)應(yīng)的參數(shù)向量為：。我們首先尋求聯(lián)合概率分布函數(shù)，也就是這)(2????cθ些參數(shù)對(duì)應(yīng)的似然函數(shù)。(1)求上述過(guò)程似然函數(shù)的代表性過(guò)程是利用條件概率密度進(jìn)行傳遞，所以需要先求出的概率密度。它的均值和方差為：1Y，???11cEY22211)(??????YE由于它具有正態(tài)分析，因此對(duì)應(yīng)的密度函數(shù)為：?????????????)1(2)]1([exp)1(21)()(222

5、12221111????????cycyfyfYYθ(2)在給定的條件下，的條件概率分布可以得到：11yY?2Y時(shí)間序列分析方法講義第5章最大似然估計(jì)3???????Ttttycy221)(?上式的最小值就是線(xiàn)性回歸的最小二乘估計(jì)，滿(mǎn)足方程：???????????????????????????????????????????????TtttTttTttTttTttyyyyyyTc212122121211???類(lèi)似地，噪聲的方差為：??

6、???????TtttycyT2212)??(11???當(dāng)樣本容量足夠大時(shí)，可以證明上述近似或者條件極大似然估計(jì)具有與精確極大似然估計(jì)一致的極限分布。5.3高斯高斯過(guò)程的似然函數(shù)過(guò)程的似然函數(shù))(pAR對(duì)于一般的高階自回歸過(guò)程：，tptptttYYYcY??????????????2211)0(..~2??Ndiit此時(shí)所要估計(jì)的總體參數(shù)向量是：。)(221????pc??θ(1)似然函數(shù)的估值似然函數(shù)的估值EvaluatingtheL

7、ikelihoodFunction假設(shè)我們獲得了個(gè)來(lái)自過(guò)程的樣本，假設(shè)前個(gè)樣本表示為T(mén))(pARp)(21??ppyyy?y可以將這個(gè)向量當(dāng)作維Gauss變量的一個(gè)樣本。這個(gè)向量的均值表示為，它的ppμ每個(gè)分量都是：)1(1pc????????假設(shè)是的協(xié)方差矩陣，則有：pV2?)(1pYY???????????????????????????????22122212121212)()])([()])([()])([()()])([()]

8、)([()])([()(????????????????ppppppYEYYEYYEYYEYEYYEYYEYYEYE???????V對(duì)于一階自回歸過(guò)程而言()，上述矩陣是一個(gè)標(biāo)量，；對(duì)于階1?p)1(12???pVp自回歸而言：???????????????????????03213012210112102??????????????????????????pppppppV這里是過(guò)程的第個(gè)自協(xié)方差，可以按照以前的介紹公式計(jì)算。j?)(p