訓練支持向量分類機的算法研究.pdf

1、支持向量機是基于統(tǒng)計學習理論的一種優(yōu)秀的機器學習方法。它采用結(jié)構(gòu)風險最小化原則，通過核函數(shù)技術(shù)在一個高維特征空間中構(gòu)造最優(yōu)線性決策函數(shù)，避免了維數(shù)災難，并能獲得全局最優(yōu)解，具有良好的推廣能力。由于其優(yōu)良的性能，已經(jīng)被廣泛地應(yīng)用于模式分類、函數(shù)逼近和密度估計等問題，成為機器學習領(lǐng)域的熱點課題。
　　 用于解決分類問題的支持向量機稱為支持向量分類機(SVC)，以提高支持向量分類機的訓練速度和推廣能力、降低其計算復雜度為目的。本文研究

2、了幾種訓練支持向量分類機的算法，主要內(nèi)容如下：
　　 1.首先給出了一個重要定理，然后結(jié)合序列最小優(yōu)化(SMO)算法的優(yōu)缺點，提出一個改進的三變量SVC學習算法，即將標準的支持向量分類機問題分解為一系列含有三個變量的二次規(guī)劃(QP)子問題，并由提出的定理保證相應(yīng)的松弛子問題都有解析解，從而使得該方法能夠更加精確和快速地逼近最優(yōu)解。數(shù)值試驗表明了新方法不僅節(jié)省了計算代價，而且還提高了分類精度。
　　 2.依據(jù)在每次迭代中選

3、取多個變量同時優(yōu)化可能會減少迭代次數(shù)和縮短訓練時間的這一想法，提出了一個訓練支持向量分類機的四重序列解析優(yōu)化方法。其優(yōu)點是每次迭代所求的子問題都有解析解，從而能夠快速地逼近最優(yōu)解。并給出算法的收斂性分析。仿真結(jié)果表明改進算法不僅縮短了訓練時間，而且計算復雜度較小。
　　 3.從支持向量分類機原對偶問題的KKT條件出發(fā)，提出了基于約簡的二階Mehrotra型預估校正算法訓練支持向量分類機，該方法盡管在初始迭代時大部分樣本都參與計算

4、，但是隨著迭代的進行，使用約簡技術(shù)它只保留較少的必要樣本，而丟掉越來越多不必要的樣本，從而使很少的樣本參與計算以達到節(jié)約計算代價的目的。數(shù)值試驗表明新方法是有效的。
　　 4.首先針對求解支持向量分類機的原對偶問題，考慮到內(nèi)點算法的不足，提出了訓練支持向量分類機的非精確不可行內(nèi)點算法，并分析了該算法的全局收斂性；其次還提出了改進的FR方法來計算方程組的不精確牛頓迭代方向，并在適當條件下證明了改進方法在Wolfe和Armijo型線