基于改進(jìn)隨機(jī)梯度下降算法的SVM.pdf

1、在機(jī)器學(xué)習(xí)領(lǐng)域，支持向量機(jī)（Support Vector Machine，SVM）是一個(gè)經(jīng)典并且強(qiáng)大的學(xué)習(xí)算法。它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。經(jīng)典的SVM學(xué)習(xí)算法是從原始問題出發(fā)，運(yùn)用拉格朗日乘數(shù)法將原始問題轉(zhuǎn)化為對(duì)偶問題后進(jìn)行求解。另一種訓(xùn)練SVM分類器的思路是直接從其原始問題入手，然后使用隨機(jī)梯度下降算法來得到SVM的最優(yōu)解。
　　隨機(jī)梯度下降算法是一

2、個(gè)被廣泛應(yīng)用的優(yōu)化算法，學(xué)術(shù)界針對(duì)隨機(jī)梯度下降算法進(jìn)行了許多改進(jìn)。隨機(jī)梯度下降算法的每次迭代過程只需處理一個(gè)隨機(jī)的訓(xùn)練樣例，它對(duì)線性SVM分類問題可快速得到最優(yōu)解。本文首先將六種常用的隨機(jī)梯度下降的改進(jìn)方法與線性SVM結(jié)合，來探究這六種改進(jìn)是否會(huì)對(duì)線性SVM目標(biāo)函數(shù)的優(yōu)化產(chǎn)生正面影響。除線性SVM外，對(duì)非線性SVM分類問題，通過引入核函數(shù)則可得到非線性SVM問題的最優(yōu)解。
　　因?yàn)殡S機(jī)梯度下降算法的運(yùn)行時(shí)間與其迭代次數(shù)呈線性相關(guān)關(guān)