考慮自變量個數(shù)先驗分布的貝葉斯變量選擇.pdf

1、近年來，由Stephens(2000)提出的生滅過程Markov鏈Monte Carlo抽樣方法(BDMCMC)被廣泛應(yīng)用于復(fù)雜數(shù)據(jù)和復(fù)雜模型的貝葉斯統(tǒng)計分析.本文的主要目的是在貝葉斯框架下采用變維BDMCMC抽樣策略研究線性模型的變量選擇問題.這個問題章平在2006年的碩士學(xué)位論文中已經(jīng)有過系統(tǒng)的研究.本文以此為基礎(chǔ)對這個問題作進(jìn)一步的深入研究.
　　 利用貝葉斯方法解決變量選擇問題，首先要做的就是給參數(shù)向量設(shè)置合適的先驗分布

2、.對于β系數(shù)、誤差方差及β系數(shù)的維數(shù)(即模型中回歸自變量的個數(shù))，本文采用最自然的先驗設(shè)置.這與章平的做法完全相同.不同的是，在章平的工作中，假定β系數(shù)的維數(shù)服從一個已知的截斷Poisson分布，而本文假定這個分布中的參數(shù)λ是未知的，我們認(rèn)為它服從一個伽瑪分布.之所以這樣做，是因為λ大致等于真實模型中β系數(shù)的維數(shù)，其數(shù)值在變量選擇問題中應(yīng)當(dāng)視為未知的、可變的、隨機(jī)的.
　　 完成了先驗設(shè)置之后，我們詳細(xì)推導(dǎo)了所有參數(shù)的后驗分布以

3、及相應(yīng)的Monte Carlo抽樣算法.貝葉斯框架下的變量選擇問題必然涉及變維抽樣.因此，我們的抽樣算法比較復(fù)雜，它是Gibbs抽樣器和BDMCMC的組合.算法的每次迭代輸出一個候選的模型(所有回歸自變量的一個子集)；多次(數(shù)千次)迭代過程中，每個模型被選出的頻率視為該模型的后驗概率的一個估計.此值達(dá)到最大的模型就是我們選中的模型.
　　 我們共進(jìn)行了兩組試驗：第一組試驗考慮了超參數(shù)的設(shè)置對變量選擇的影響.我們發(fā)現(xiàn)，β系數(shù)的先驗