代價敏感支持向量機(jī)快速算法研究.pdf

1、支持向量機(jī)是由Vapnik等人提出的一種分類算法，因其具有良好的泛化性能，在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域中被研究者廣泛使用。傳統(tǒng)分類算法中假設(shè)對于屬于不同類型的樣本的錯誤分類導(dǎo)致的誤分代價是相同的。然而在很多實際應(yīng)用中，誤分類不同類別的樣本將會產(chǎn)生不同的誤分代價，例如疾病診斷、信用卡詐騙檢測等場景即是如此。針對這一類的代價敏感問題，研究者提出了多種代價敏感算法，其中代價敏感支持向量機(jī)具有很好的性能及廣泛的適應(yīng)性。本文即以代價敏感支持向量機(jī)作為

2、重點(diǎn)研究對象。文中取得的創(chuàng)新研究成果如下。
　　(1)針對代價敏感問題，文中設(shè)計了一系列的對比實驗對于多種代價敏感算法進(jìn)行了比較。實驗在十個代價敏感數(shù)據(jù)集和四個不平衡數(shù)據(jù)集上進(jìn)行，并使用了總代價、AUC、F1指標(biāo)和G均值等四種代價敏感問題中常用的評價指標(biāo)對實驗結(jié)果進(jìn)行了評估。通過對比實驗發(fā)現(xiàn)代價敏感支持向量機(jī)與其他代價敏感算法相比，具有更好的分類性能，并能夠適應(yīng)多種來自不同場景的數(shù)據(jù)集。
　　(2)文中首先對代價敏感支持向量

3、機(jī)提出了一種全量快速求解算法。代價敏感支持向量機(jī)與非代價敏感支持向量機(jī)類似，其求解問題本質(zhì)上是二次規(guī)劃問題，因而可以采用SMO算法進(jìn)行求解。文中首先對于代價敏感支持向量機(jī)的SMO算法（序列最小優(yōu)化）算法進(jìn)行了理論推導(dǎo)和時間復(fù)雜度分析，并根據(jù)時間復(fù)雜度分析指出了SMO算法可以進(jìn)一步加速的方向;隨后提出了使用隨機(jī)梯度下降方法對于SMO算法進(jìn)行加速的算法框架;之后通過實驗分析，驗證了使用隨機(jī)梯度下降對SMO進(jìn)行加速的有效性，并印證了之前對于S

4、MO算法時間復(fù)雜度的理論分析。
　　(3)為了適應(yīng)在線學(xué)習(xí)場景下的分類問題，文中提出了一種代價敏感支持向量機(jī)的多樣本增量式快速求解算法。全量算法在訓(xùn)練數(shù)據(jù)集發(fā)生改變時需要對所有訓(xùn)練樣本進(jìn)行重新訓(xùn)練，從而得到新的模型，因而在數(shù)據(jù)集不斷變化的在線學(xué)習(xí)場景下會浪費(fèi)很多學(xué)習(xí)時間;而增量算法可以直接吸收新增樣本并直接更新現(xiàn)有模型，從而避免了對已有數(shù)據(jù)的重新訓(xùn)練。文中首先對于代價敏感支持向量機(jī)的多樣本增量式算法進(jìn)行了理論推導(dǎo);隨后通過實驗研究