增量支持向量機學習算法研究.pdf

1、支持向量機（Support Vector Machine，SVM）是一種基于統(tǒng)計學習理論的通用有效的機器學習方法，鑒于其堅實的理論基礎和良好的泛化性能，已被廣泛應用到很多領域。但是由于其本質(zhì)上求解的是凸二次規(guī)劃問題，需要進行大規(guī)模的矩陣運算，因此只適用于小規(guī)模數(shù)據(jù)。當數(shù)據(jù)規(guī)模較大時，矩陣的運算會非常繁瑣，學習的效率也會變低。增量學習方法通過每次加入一個或者一批增量樣本進行訓練，將大規(guī)模問題分解成一系列子問題。本文采用增量學習技術(shù)，針對訓

2、練樣本是否有標記，提出兩種增量支持向量機（Incremental Support Vector Machine, ISVM）學習模型，以有效提高SVM處理大規(guī)模數(shù)據(jù)的性能。
　　本文的研究工作主要包括以下兩個方面：
　?。?）針對有標記樣本的增量學習過程進行研究。在該過程中，增量樣本選擇不當，可能會降低模型的學習能力和泛化性能。但目前選擇增量樣本的算法或者是隨機選擇，或者選擇的方法過于復雜。針對該問題，本文提出了基于概率密度

3、分布的PISVM模型。該模型通過使用概率密度分布選擇含有較多重要分類信息（有可能成為支持向量）的增量樣本，且當其預測值與真實值不一致時，才將其加入訓練集進行訓練，以加快模型的收斂的速度。在標準數(shù)據(jù)集UCI上的實驗結(jié)果表明PISVM模型在保持其泛化能力的同時能進一步提高學習效率。
　?。?）對部分有標記的組合半監(jiān)督支持向量機學習問題進行研究。組合半監(jiān)督支持向量機需要在無標記樣本的所有標記組合中尋找最優(yōu)的那組作為其最終的標記。而該方法

4、存在一個較大的問題：計算復雜度過高。針對該問題，本文將增量學習方法引入其中，提出了基于增量學習方法的半監(jiān)督支持向量機模型IS3VM。該模型通過將大量的無標記樣本分批進行組合標記來降低算法的計算復雜度。每次選擇位于分類間隔內(nèi)部的樣本進行標記，并將使分類間隔最大的那組標記作為其最終標記，以確保標記的準確性；然后將其加入訓練集進行訓練，以此來修正模型。從而在保證模型精度的同時，降低模型的計算復雜度。
　　本文提出了兩種模型PISVM和I