基于層次貝葉斯自適應稀疏的高斯混合模型.pdf

1、高斯混合模型(Gaussian Mixture Model，GMM)因其較好的靈活性、模型簡易型和理論成熟性而在統(tǒng)計學中廣泛使用，且在諸多領(lǐng)域中，如圖像處理、計算機視覺、數(shù)據(jù)挖掘和機器學習等，獲得良好性能。然而，一個重要問題是:面對來源于高維空間，如數(shù)千維，數(shù)據(jù)時，GMM數(shù)百萬維協(xié)方差矩陣估計將是一個極大挑戰(zhàn)。究其原因在于，我們需要同等數(shù)量的樣本進行參數(shù)估計，而在諸多實際情形中，樣本數(shù)量遠不足于待估計參數(shù)數(shù)量，從而產(chǎn)生“過擬合”現(xiàn)象。近

2、年來，得益于LASSO變量選擇和稀疏回歸模型的提出及迅猛發(fā)展，一系列有效方法關(guān)注于如何對高維參數(shù)空間施加稀疏約束，從而挖掘出其內(nèi)蘊的稀疏結(jié)構(gòu)。具體到高斯圖模型(Gaussian Graphical Model，GGM)，一類方法由分析協(xié)方差矩陣結(jié)構(gòu)延展至精度矩陣（逆協(xié)方差矩陣）結(jié)構(gòu);另一類方法則是由優(yōu)化一階問題延伸至二階問題。在眾多方法中，最典型最重要的當屬GLASSO(Graphical LASSO)。
　　在本論文中，針對GG

3、M描述分布能力有限、GLASSO參數(shù)估計有偏，以及需要超參數(shù)調(diào)節(jié)等缺陷，我們從結(jié)構(gòu)化學習角度提出一種十分有效的層次貝葉斯自適應稀疏高斯混合模型(Adaptive Sparsity GMM，ASGMM)。具體地，考慮到判別式L1范數(shù)等價于生成式Laplace分布—通過兩層貝葉斯描述，我們在GMM中注入Jeffrey非信息先驗獲得兩層貝葉斯自適應稀疏先驗。該先驗作用于精度矩陣，在挖掘其稀疏性同時大大減少樣本數(shù)量。更重要地，該先驗不需要任何超

4、參數(shù)調(diào)節(jié)—施加的非信息先驗“讓數(shù)據(jù)自身說話”，且無偏估計的稀疏精度矩陣能自適應于數(shù)據(jù)。具體到算法細節(jié)，ASGMM方法由三個步驟組成:首先，我們通過嵌入基于Jeffery非信息化超先驗的層次貝葉斯模型來自適應估計GMM稀疏精度矩陣;其次，我們對GMM精度矩陣進行Cholesky分解，用以保證其正定性;最后，我們針對ASGMM目標函數(shù)構(gòu)造合適的Q函數(shù)，進而利用期望最大化框架求解出GMM精度矩陣元素值。
　　在合成數(shù)據(jù)集上，一系列實驗結(jié)