針板先驗的研究與應用.pdf

1、針板先驗(Spike and Slab Prior)是一種用于鼓勵連續(xù)變量稀疏性的先驗概率。和常見的l1模正則化方法通過最小化零點不可導的代價函數(shù)以得到稀疏解的做法不同，針板先驗使用一種特殊的二分量的高斯混合模型，對變量的零或非零屬性進行直接建模。配合概率建模中常用的近似推斷方法，針板先驗不僅僅可以用來鼓勵變量的稀疏性，亦可以對變量之間涉及到零或非零屬性的復雜關系進行建模。本文將對針板先驗進行研究，并探索它的三個應用:
　　首先，

2、本文將針板先驗用于稀疏逆協(xié)方差矩陣估計。和l1模正則化方法相比，提出的使用針板先驗的模型可以得到更為稀疏，并且預測性能更高的逆協(xié)方差矩陣。通過賦予針板先驗的參數(shù)以超先驗并利用貝葉斯近似推斷技術，可以避免交叉驗證，從而極大的降低了模型選擇的難度。
　　其次，本文將針板先驗用于在協(xié)同過濾系統(tǒng)里選擇動態(tài)用戶，即需要使用多變量對其興趣變化進行建模的用戶。和l21模正則化方法相比，使用針板先驗的模型不僅僅可以對用戶的動態(tài)/靜態(tài)屬性進行判斷，

3、同時還提供了對判斷的肯定程度的估計。提出的動態(tài)/靜態(tài)混合模型不僅可以用來對用戶的興趣變化進行分析，同時在以RMSE為指標的評分預測任務中也獲得了很好的性能。
　　再次，本文將針板先驗用戶子空間聚類。在提出的層次化模型里，針板先驗作為連接樣本類標號和重建矩陣之間的橋梁，被用于限制不在同一子空間內(nèi)的兩個樣本所對應的重建系數(shù)的大小。這樣的限制在一定程度上減輕了樣本重建模型對子空間獨立假設的依賴。在人工合成的數(shù)據(jù)集和真實數(shù)據(jù)集上，和主流的