針板先驗的研究與應(yīng)用.pdf

1、針板先驗(Spike and Slab Prior)是一種用于鼓勵連續(xù)變量稀疏性的先驗概率。和常見的l1模正則化方法通過最小化零點不可導(dǎo)的代價函數(shù)以得到稀疏解的做法不同，針板先驗使用一種特殊的二分量的高斯混合模型，對變量的零或非零屬性進行直接建模。配合概率建模中常用的近似推斷方法，針板先驗不僅僅可以用來鼓勵變量的稀疏性，亦可以對變量之間涉及到零或非零屬性的復(fù)雜關(guān)系進行建模。本文將對針板先驗進行研究，并探索它的三個應(yīng)用:
　　首先，

2、本文將針板先驗用于稀疏逆協(xié)方差矩陣估計。和l1模正則化方法相比，提出的使用針板先驗的模型可以得到更為稀疏，并且預(yù)測性能更高的逆協(xié)方差矩陣。通過賦予針板先驗的參數(shù)以超先驗并利用貝葉斯近似推斷技術(shù)，可以避免交叉驗證，從而極大的降低了模型選擇的難度。
　　其次，本文將針板先驗用于在協(xié)同過濾系統(tǒng)里選擇動態(tài)用戶，即需要使用多變量對其興趣變化進行建模的用戶。和l21模正則化方法相比，使用針板先驗的模型不僅僅可以對用戶的動態(tài)/靜態(tài)屬性進行判斷，

3、同時還提供了對判斷的肯定程度的估計。提出的動態(tài)/靜態(tài)混合模型不僅可以用來對用戶的興趣變化進行分析，同時在以RMSE為指標(biāo)的評分預(yù)測任務(wù)中也獲得了很好的性能。
　　再次，本文將針板先驗用戶子空間聚類。在提出的層次化模型里，針板先驗作為連接樣本類標(biāo)號和重建矩陣之間的橋梁，被用于限制不在同一子空間內(nèi)的兩個樣本所對應(yīng)的重建系數(shù)的大小。這樣的限制在一定程度上減輕了樣本重建模型對子空間獨立假設(shè)的依賴。在人工合成的數(shù)據(jù)集和真實數(shù)據(jù)集上，和主流的