代價敏感支持向量機快速算法研究.pdf

1、支持向量機是由Vapnik等人提出的一種分類算法，因其具有良好的泛化性能，在機器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域中被研究者廣泛使用。傳統(tǒng)分類算法中假設(shè)對于屬于不同類型的樣本的錯誤分類導(dǎo)致的誤分代價是相同的。然而在很多實際應(yīng)用中，誤分類不同類別的樣本將會產(chǎn)生不同的誤分代價，例如疾病診斷、信用卡詐騙檢測等場景即是如此。針對這一類的代價敏感問題，研究者提出了多種代價敏感算法，其中代價敏感支持向量機具有很好的性能及廣泛的適應(yīng)性。本文即以代價敏感支持向量機作為

2、重點研究對象。文中取得的創(chuàng)新研究成果如下。
　　(1)針對代價敏感問題，文中設(shè)計了一系列的對比實驗對于多種代價敏感算法進行了比較。實驗在十個代價敏感數(shù)據(jù)集和四個不平衡數(shù)據(jù)集上進行，并使用了總代價、AUC、F1指標和G均值等四種代價敏感問題中常用的評價指標對實驗結(jié)果進行了評估。通過對比實驗發(fā)現(xiàn)代價敏感支持向量機與其他代價敏感算法相比，具有更好的分類性能，并能夠適應(yīng)多種來自不同場景的數(shù)據(jù)集。
　　(2)文中首先對代價敏感支持向量

3、機提出了一種全量快速求解算法。代價敏感支持向量機與非代價敏感支持向量機類似，其求解問題本質(zhì)上是二次規(guī)劃問題，因而可以采用SMO算法進行求解。文中首先對于代價敏感支持向量機的SMO算法（序列最小優(yōu)化）算法進行了理論推導(dǎo)和時間復(fù)雜度分析，并根據(jù)時間復(fù)雜度分析指出了SMO算法可以進一步加速的方向;隨后提出了使用隨機梯度下降方法對于SMO算法進行加速的算法框架;之后通過實驗分析，驗證了使用隨機梯度下降對SMO進行加速的有效性，并印證了之前對于S

4、MO算法時間復(fù)雜度的理論分析。
　　(3)為了適應(yīng)在線學(xué)習(xí)場景下的分類問題，文中提出了一種代價敏感支持向量機的多樣本增量式快速求解算法。全量算法在訓(xùn)練數(shù)據(jù)集發(fā)生改變時需要對所有訓(xùn)練樣本進行重新訓(xùn)練，從而得到新的模型，因而在數(shù)據(jù)集不斷變化的在線學(xué)習(xí)場景下會浪費很多學(xué)習(xí)時間;而增量算法可以直接吸收新增樣本并直接更新現(xiàn)有模型，從而避免了對已有數(shù)據(jù)的重新訓(xùn)練。文中首先對于代價敏感支持向量機的多樣本增量式算法進行了理論推導(dǎo);隨后通過實驗研究