支持向量分類機的訓練與簡化算法研究.pdf

1、支持向量機是基于統計學習理論的新一代機器學習技術。和傳統的基于數據的學習方法采用經驗風險最小化原則不同的是，它是建立在結構風險最小化原則的基礎上，因此能夠較好地處理小樣本情況下的學習問題。并且，它較好地解決了以往困擾很多學習方法的過學習、高維數、局部極小點等實際問題。目前，統計學習理論和支持向量機作為小樣本學習的最佳理論，受到越來越廣泛的重視，成為人工智能和機器學習領域的研究熱點。 目前，統計學習理論正處于一個向實際應用推廣的階

2、段。支持向量機的算法需要進一步的改進與完善以適應實際問題的需要。本文在分析了支持向量機的基本理論和基本性質的基礎上，立足于分類問題，針對不同類型的訓練與簡化算法存在的不足之處，提出了新的訓練與簡化算法，克服了現存算法存在的缺陷，提高了支持向量機的訓練與分類效率。本文的主要工作如下： 1、針對結合可行方向策略的序貫最小優(yōu)化(SMO)算法存在的緩存命中率低下問題，提出了一種改進工作集選擇策略的SMO算法，并從理論上證明了其收斂性。改

3、進的工作集選擇策略綜合考慮算法收斂所需的迭代次數及緩存效率，從總體上減少了核函數計算次數，因此相應的SMO算法的訓練速度較采用可行方向策略的SMO算法有了很大提高。 2、針對目前預處理類型的支持向量機訓練算法訓練所得分類器泛化性能低、分類時間復雜度高等缺陷，提出了一種新的預處理類型的支持向量機訓練算法。該算法通過創(chuàng)建一相對粗糙的分類超平面來實現潛在支持向量的選擇，從而減小支持向量機對應二次優(yōu)化問題的規(guī)模，降低支持向量機訓練所需的

4、時間及空間復雜度，因此適用于大規(guī)模數據集的訓練。該算法不僅基本維持了原始分類器的分類精度，而且訓練完畢后具有較少的支持向量，因而對應的結果分類器具有較快的分類速度。 3、針對目前適用于超大規(guī)模數據集的支持向量機訓練算法大多依靠經驗觀察，缺乏理論保障的情況，提出了一種基于近似解的支持向量機訓練算法：Approximate Vector Machine(AVM)。AVM算法采用增量學習的策略來尋找近似最優(yōu)分類超平面，并且在迭代過程中

5、采用了熱啟動及抽樣技巧來加快訓練速度。理論分析表明，該算法的計算復雜度與訓練樣本的數量無關，因此具有良好的時間與空間擴展性，適用于超大規(guī)模數據集的訓練。 4、目前的支持向量機簡化法在尋找約簡向量的過程中需要求解一個無約束的多參數優(yōu)化問題，這樣，像其它非線性優(yōu)化問題一樣，求解過程需要面對數值不穩(wěn)定或局部最小值問題。為克服現存方法存在的不足，提出了一種新穎的基于核聚類的支持向量機簡化方法，此方法首先在特征空間中對支持向量進行聚類，然