基于支持向量機的混合增量學習算法與應(yīng)用.pdf

1、支持向量機（Support Vector Machine，SVM）是建立在統(tǒng)計學理論基礎(chǔ)上的一種機器學習方法，其擁有堅實的理論基礎(chǔ)。它在解決小樣本、高緯度、非線性模式識別學習問題中有較多優(yōu)勢。其實質(zhì)上是一個二次規(guī)劃求解問題。
　　本文的研究重點是基于支持向量機的增量學習算法研究及其在網(wǎng)絡(luò)入侵上的應(yīng)用。在分析了支持向量機在對增量學習行為上面的不足，以及現(xiàn)有的一些增量學習算法的不足，提出了一種新的基于支持向量機的增量學習算法，即基于余

2、弦相似度與函數(shù)距離的SVM增量學習算法，簡稱CSFD-ISVM。該算法的主要核心思想是利用樣本集分布特點與歷史訓(xùn)練結(jié)果來盡量的減少樣本的數(shù)量。本文中提出了幾種方法來篩選樣本與加快樣本篩選的過程。主要工作與創(chuàng)新總結(jié)如下:
　　1)基于支持向量機的思想，最終的決策面只與少數(shù)支持向量有關(guān)，因此可以預(yù)取樣本中的準支持向量，這樣就可以大大減少參與訓(xùn)練的樣本數(shù)，加快訓(xùn)練速度。提出了一種通過類別質(zhì)心與余弦角度的樣本預(yù)選策略。由大數(shù)定律，在大量樣

3、本中隨機挑選一定數(shù)量樣本的質(zhì)心是逼近整體樣本質(zhì)心的，因此提出了使用隨機抽取一定比例樣本代替整體樣本來計算樣本余弦值的方法。在此基礎(chǔ)上，本文提出了基于余弦相似度與函數(shù)距離的增量學習算法。實驗結(jié)果表明:基于余弦相似度與函數(shù)距離的增量學習算法有效的降低了訓(xùn)練時間，同時又可以提升訓(xùn)練精度。
　　2)通過對增量學習前后樣本分布的變化進行分析發(fā)現(xiàn):歷史樣本中的有用信息除了支持向量，還有同樣非常重要的邊界非支持向量，針對邊緣向量的提取，本文提出

4、了一種基于余弦相似度與函數(shù)距離的預(yù)取策略，并且通過實驗分析了算法中函數(shù)距離的容忍因子對增量學習的影響，表明該方法對增量學習的精度有較明顯的提升。通過UCI標準數(shù)據(jù)集與其它數(shù)據(jù)集的仿真實驗結(jié)果表明，本文提出的基于余弦相似度與函數(shù)距離預(yù)取策略的增量學習算法是可行的和有效的。最后將其應(yīng)用到網(wǎng)絡(luò)入侵檢測，通過KDD CUP99數(shù)據(jù)仿真實驗，本文提出的混合增量學習算法在訓(xùn)練速度與檢測速度上都有不錯的表現(xiàn)，而且保持高檢測率與低誤報率，因此很適合用來