稀疏貝葉斯學(xué)習(xí)理論及應(yīng)用研究.pdf

1、近年來，稀疏貝葉斯學(xué)習(xí)方法成為機器學(xué)習(xí)中的一個研究熱點，它能夠充分挖掘和利用數(shù)據(jù)的先驗信息，假設(shè)先驗信息的概率分布情況，對要解決的問題進行合理的數(shù)學(xué)建模，來實現(xiàn)低維模型的學(xué)習(xí)。由于挖掘了數(shù)據(jù)的先驗信息，因此能夠利用數(shù)據(jù)自身的特性對信號和圖像實現(xiàn)最優(yōu)的稀疏表示。稀疏貝葉斯學(xué)習(xí)的關(guān)鍵難點在于：模型的選取和先驗知識的假設(shè)。在研究稀疏貝葉斯學(xué)習(xí)理論的基礎(chǔ)上，本文深入探討了在不同概率模型下的信號和圖像稀疏建模與學(xué)習(xí)方法，主要在如下幾個方面開展了工

2、作：
　　 (1)提出一種基于快速貝葉斯匹配追蹤算法(Fast Bayesian Matching pursuit，F(xiàn)BMP)的稀疏學(xué)習(xí)機構(gòu)造方法。FBMP算法加入了稀疏系數(shù)服從混合高斯分布的假設(shè)，比傳統(tǒng)的貪婪匹配追蹤算法的性能有了顯著提高。本文在分析FBMP算法性能的基礎(chǔ)上，將該算法用于學(xué)習(xí)機的結(jié)構(gòu)稀疏化，提出一種基于FBMP的稀疏學(xué)習(xí)機方法。在壓縮感知框架下，進一步通過壓縮采樣技術(shù)得到結(jié)構(gòu)更加精簡的網(wǎng)絡(luò)模型。將該方法用于雙螺

3、旋線數(shù)據(jù)的分類，實驗結(jié)果顯示：該方法能夠得到性能優(yōu)良的學(xué)習(xí)模型，相比其他優(yōu)化算法得到的學(xué)習(xí)機具有更好的性能。
　　 (2)實現(xiàn)了一種基于l1正則化的稀疏貝葉斯學(xué)習(xí)算法，在貝葉斯準則下給出一種正則參數(shù)的學(xué)習(xí)方法。在稀疏貝葉斯學(xué)習(xí)中，假設(shè)稀疏系數(shù)服從Laplace分布，引入了均勻正則化和獨立正則化的思想，建立了l1范數(shù)正則的稀疏貝葉斯學(xué)習(xí)模型，研究了正則化參數(shù)的確定方法。針對一般最小二乘(Ordinary Least Square，

4、OLS)和非負最小二乘(Nonnegative Least Square，NLS)兩種情況，提出在貝葉斯準則下正則參數(shù)的學(xué)習(xí)算法，仿真實驗驗證了其有效性。
　　 (3)實現(xiàn)了圖像稀疏表示的非參數(shù)稀疏貝葉斯學(xué)習(xí)，給出了在Dirichlet過程和Beta過程兩種分布下的非參數(shù)貝葉斯混合因子模型。對能夠被約束在低維子空間中高維圖像數(shù)據(jù)進行低秩混合高斯模型的學(xué)習(xí)，該模型從給定的數(shù)據(jù)集中自動學(xué)習(xí)得到混合元素的個數(shù)和因子個數(shù)，將其作為數(shù)據(jù)的