基于粒子群優(yōu)化算法的支持向量機集成學(xué)習(xí)方法研究.pdf

1、支持向量機(Support Vector Machine，SVM)是近年來受到廣泛關(guān)注的一類學(xué)習(xí)機器，它以統(tǒng)計學(xué)習(xí)理論為基礎(chǔ)，具有全局最優(yōu)、適應(yīng)性強、推廣能力強等優(yōu)點，已成功應(yīng)用于模式識別、回歸估計及概率密度估計等眾多領(lǐng)域。在SVM的學(xué)習(xí)訓(xùn)練過程中，幾乎所有研究都以單個SVM作為訓(xùn)練機，關(guān)于SVM的多學(xué)習(xí)器學(xué)習(xí)方法研究甚少。集成學(xué)習(xí)通過訓(xùn)練多個學(xué)習(xí)器并將其結(jié)果進行合成，可以顯著提高學(xué)習(xí)系統(tǒng)的泛化能力。將集成學(xué)習(xí)技術(shù)引入到SVM學(xué)習(xí)中，可

2、以更好地提高SVM的泛化能力。因此，基于集成學(xué)習(xí)的SVM學(xué)習(xí)方法研究成為目前SVM研究中的一個重要方向。
　　 本文對分類SVM集成學(xué)習(xí)方法進行了系統(tǒng)的研究，介紹了分類SVM的概念和原理。對于集成學(xué)習(xí)技術(shù)的理論分析、實現(xiàn)方法的設(shè)計和實際應(yīng)用進行了系統(tǒng)的研究分析，分析了它們的產(chǎn)生背景。介紹了在集成學(xué)習(xí)中的分類問題以及兩種主要的集成學(xué)習(xí)方法Bagging和Boosting。比較了Bagging和Boosting的優(yōu)缺點，考察了它們的

3、生效機制。分析了選擇性集成的原理和產(chǎn)生背景，并介紹了一種經(jīng)典的選擇性集成方法GASEN。同時完成了以下研究工作：
　　 (1)提出了兩種分類SVM集成學(xué)習(xí)方法：基于Bagging的分類SVM集成學(xué)習(xí)方法Bagging_SVM和基于AdaBoost的分類SVM集成學(xué)習(xí)方法AdaBoost_SVM。
　　 (2)針對選擇性集成的實現(xiàn)復(fù)雜度過高問題，借鑒群體智能方法，提出了基于粒子群優(yōu)化算法的選擇性集成算法PSOSEN，將粒子

4、群優(yōu)化算法引入到選擇性集成中，利用高速收斂的粒子群來選擇差異大精度高的個體分類器，建立最優(yōu)的集成模型。利用UCI數(shù)據(jù)庫對PSOSEN進行了實驗測試，實驗結(jié)果表明該方法優(yōu)于Boosting和Bagging方法，在準確率、時間效率和集成規(guī)模三個方面都取得了顯著提高，可以成為一種高效的選擇性集成的實現(xiàn)方法。
　　 (3)針對粒子群優(yōu)化算法容易陷入局部最優(yōu)解的問題，提出了一種改進的粒子群優(yōu)化算法，并將改進后的粒子群優(yōu)化算法應(yīng)用在分類SV