概率特征選擇分類向量機(jī).pdf

1、貝葉斯學(xué)習(xí)作為機(jī)器學(xué)習(xí)的重要分支，為解決數(shù)據(jù)的建模問題提供了一種重要的方法。其中的稀疏貝葉斯學(xué)習(xí)算法憑借其概率的預(yù)測和稀疏的模型等特點，成為機(jī)器學(xué)習(xí)中的經(jīng)典算法之一。然而一些稀疏貝葉斯算法，例如相關(guān)向量機(jī)、概率分類向量機(jī)等，因為缺少特征選擇能力，無法去除數(shù)據(jù)中的不相關(guān)特征或冗余特征，從而在一定程度上降低了此類算法在高維數(shù)據(jù)集上的表現(xiàn)。本文為了解決此類問題，基于稀疏貝葉斯學(xué)習(xí)，提出了一種可以在訓(xùn)練分類器的過程中自動選擇相關(guān)特征的特征選擇分

2、類協(xié)同訓(xùn)練算法:概率特征選擇分類向量機(jī)。本算法在訓(xùn)練的過程中同時選擇與預(yù)測相關(guān)的特征和數(shù)據(jù)樣本，最終在訓(xùn)練集中得到一個稀疏的數(shù)據(jù)子集，基于此稀疏數(shù)據(jù)集，概率分類向量機(jī)可以完成對未知數(shù)據(jù)的預(yù)測。為了完成選擇相關(guān)向量和特征的功能，本文使用半截高斯分布作為先驗假設(shè)，分別使用最大化后驗估計和最大化二類邊際似然估計提出兩種計算模型最大化概率的算法。在實驗部分通過設(shè)計多組實驗驗證了本文提出算法的性能。最后，通過分析泛化性誤差邊界，在理論上論證了本文

3、提出的特征選擇算法可以提高模型的泛化能力。
　　本文的主要工作可以總結(jié)如下:
　　(1)與傳統(tǒng)的貝葉斯分類器不同，本文提出的算法同時在樣本和特征空間中引入稀疏先驗，在訓(xùn)練過程中自動選擇相關(guān)的特征，完成特征選擇，從而降低高維度數(shù)據(jù)對分類器的影響，提高分類器的性能;
　　(2)本文在特征和樣本中引入半截高斯分布作為稀疏先驗，通過分別使用期望最大化算法計算最大化后驗概率和通過拉普拉斯方法計算二類最大化邊際似然，提出了兩種特征