基于切片抽樣MCMC方法的比較分析.pdf

1、本文首先介紹了Monte Carlo方法以及常用的Markov Chain MonteCarlo(MCMC)方法，并指出他們的不足所在，然后針對(duì)這些方法的不足，引入了Slice Sampling(切片抽樣)方法。通過(guò)這兩種方法的模擬分析得到切片抽樣可以降低計(jì)算成本的結(jié)論。本文采用數(shù)值模擬的方法來(lái)進(jìn)行比較分析，替換了軟件原有的Gibbs抽樣，發(fā)現(xiàn)切片抽樣具有高效性這一事實(shí)。最后文章討論了現(xiàn)有隨機(jī)模擬方法的不足和改進(jìn)方向。 隨著貝葉

2、斯理論的不斷發(fā)展以及計(jì)算機(jī)硬件的不斷更新，出現(xiàn)了MarkovChain Monte Carlo(MCMC)方法。目前，MCMC方法已經(jīng)逐漸作為在統(tǒng)計(jì)推斷中解決高維數(shù)值問(wèn)題的強(qiáng)大而普遍的工具，這些問(wèn)題包括需要高維積分的復(fù)雜似然函數(shù)的估計(jì)。MCMC算法的使用是建立在貝葉斯推斷的框架下的，其基本假設(shè)是：所有的模型參數(shù)分別服從特定的先驗(yàn)分布。 一個(gè)貝葉斯推斷是基于后驗(yàn)密度函數(shù)的參數(shù)的，也就是說(shuō)對(duì)第j個(gè)參數(shù)θ，考慮一個(gè)分層模型的貝葉斯形式

3、的例子： 標(biāo)準(zhǔn)化常數(shù)b,與參數(shù)θ獨(dú)立，因此對(duì)參數(shù)θ的估計(jì)，如后驗(yàn)眾數(shù)或后驗(yàn)均值的估計(jì)可以由f(θ，y)單獨(dú)導(dǎo)出。如果θ的先驗(yàn)分布π(·)是常數(shù)(稱(chēng)作平面先驗(yàn)或無(wú)信息先驗(yàn))，那么它的后驗(yàn)分布有效的正比于它的似然函數(shù)。因此，后驗(yàn)眾數(shù)在數(shù)值上與極大似然估計(jì)相同。所以，通常需要β和D的平面先驗(yàn)或無(wú)信息先驗(yàn)(與共軛先驗(yàn)相對(duì))。 對(duì)于上述模型，后驗(yàn)分布的積分往往難以計(jì)算，這就需要引入本文第二章所介紹的隨機(jī)模擬方法。其中，廣泛認(rèn)可的M

4、CMC方法--Gibbs抽樣解決了積分的問(wèn)題。但隨著研究的深入，Gibbs抽樣的不足也逐漸被認(rèn)識(shí)?；谶@些不足，本文在第三章引入了Slice Sampler(切片抽樣)，它均勻地從密度函數(shù)的圖像上抽樣，可以作為一種分布抽樣的方法。我們可以這樣構(gòu)建一個(gè)收斂到一個(gè)均勻分布Markov鏈：交替的在垂直方向均勻抽樣以及從這個(gè)垂直位置所定義的水平切片抽樣來(lái)實(shí)現(xiàn)。在這種切片抽樣上的變化可以很容易的在單變量分布上實(shí)現(xiàn)，同時(shí)也可以通過(guò)輪流更新變量使其從

5、多變量分布抽樣，其模型如下： 1．指定u及條件分布π(u│x) 2．構(gòu)建聯(lián)合分布π(x，u)=π(x)π(u│x) 3．定義轉(zhuǎn)移核P<,u>((x，u)→(x，u'))以及P<,x>((x，u)→(x’，u'))，使得兩個(gè)核都服從π(x，u)4．通過(guò)系統(tǒng)掃描轉(zhuǎn)移核P<,x>P<,u>生成現(xiàn)實(shí)值(x<'1>，u<'1>)，…，(x<'N>，u<'N>)這種方法比Gibbs抽樣更容易實(shí)現(xiàn)，而且可能比簡(jiǎn)單構(gòu)造的Metr