基于圖拉普拉斯的稀疏貝葉斯分類算法研究.pdf

1、稀疏貝葉斯作為一種主流的機器學習算法，它能夠充分利用數據的先驗信息，并結合已知的樣本集，建立合理的數學模型，在訓練的結果中擁有良好稀疏性并且可以得到概率性輸出，已經成為機器學習研究領域中的熱點，受到越來越多的研究人員關注。然而，對于流形數據集，目前的這些稀疏貝葉斯算法，例如相關向量機、概率分類向量機，因為忽略了數據集內部具有的特殊結構信息，輸出的模型不能很好的表達真實數據，導致模型過于復雜，分類性能較低。本文基于現有的稀疏貝葉斯算法，結

2、合流形正則化框架，提出一種能夠充分利用數據內部流形信息的稀疏貝葉斯算法:基于圖拉普拉斯的稀疏貝葉斯分類算法。本算法通過在稀疏貝葉斯模型權值的先驗分布上引入稀疏流形先驗，把數據集自身的流形結構信息作為先驗知識利用起來，以訓練出更符合數據分布的模型，提高了稀疏貝葉斯算法的分類性能。在本文中，我們從理論上分析了此模型，驗證了算法分類的準確率。隨后，在不同數據集上進行了多組對比實驗，結果顯示本文提出的算法不但在具有流形的數據集上取得了理想的分類

3、性能，在普通的數據集上也有良好的效果。
　　本文的主要工作總結如下:
　　(1)本文基于傳統(tǒng)的稀疏貝葉斯和流形正則化框架，提出的算法定義了一個流形先驗，把數據的流形信息融入到了模型的先驗當中，在訓練過程中重復利用此信息，進而約束分類函數，因此可以得到精確性高、泛化性強的分類函數。
　　(2)本文根據模型權值參數上的流形先驗，通過拉普拉斯算法將參數的后驗概率分布近似為高斯分布，然后使用迭代重加權最小二乘法求出分布的均值，

4、提出了基于圖拉普拉斯的稀疏貝葉斯分類算法，該算法具有良好的稀疏性，訓練時間較短，收斂速度快，同時通過概率輸出能夠度量預測結果的不確定性。
　　(3)本文利用邊際似然函數能夠控制模型對樣本數據流形信息利用程度的超參數λ和超參數α進行自動優(yōu)化，因此本文算法參數少，簡單高效。
　　(4)本文實驗部分在人工數據集、標準數據集和流形數據集上進行大量的實驗，通過與傳統(tǒng)的監(jiān)督學習算法對比，驗證了本文提出的算法具有良好的分類準確性、較好的模