支持向量機集成學習方法研究.pdf

1、支持向量機(Support Vector Machine，SVM)是近年來受到廣泛關(guān)注的一類學習機器，它以統(tǒng)計學習理論(Statistical Learning Theory,SLT)為基礎(chǔ)，具有簡潔的數(shù)學形式、標準快捷的訓練方法和良好的泛化性能，已廣泛應(yīng)用于模式識別、函數(shù)估計和時間序列預(yù)測等數(shù)據(jù)挖掘問題。但在SVM的研究中仍然存在許多問題尚待解決，例如:模型選擇問題、針對大規(guī)模訓練集的學習效率問題等。目前，在SVM的學習訓練過程中，幾

2、乎所有研究都以單個支持向量機作為訓練器，關(guān)于SVM的多學習器學習方法研究甚少。集成學習(EnsembleLearning)技術(shù)作為一種有效的多學習器學習方法已獲得許多有價值的結(jié)果，將集成學習技術(shù)引入到SVM學習中，可以更好地提高SVM的泛化能力，因此，基于集成學習的SVM學習方法研究成為目前SVM研究中一個重要的方向。本文對SVM集成學習方法進行了系統(tǒng)地研究，主要內(nèi)容如下:
　　(1)對于集成學習技術(shù)的理論分析、實現(xiàn)方法的設(shè)計和實

3、際應(yīng)用進行了系統(tǒng)地研究。
　　(2)對現(xiàn)有的集成學習方法進行了簡要介紹，分析了兩種經(jīng)典的集成學習方法Bagging和Boosting、比較了兩者的優(yōu)缺點、考察了它們的生效機制。
　　(3)提出兩種回歸SVM集成學習方法，即:基于Bagging的回歸SVM集成學習方法和基于參數(shù)變換的回歸SVM集成學習模型。
　　(4)提出了一種回歸SVM選擇性集成學習方法，通過采用特定閾值選擇合適的子SVM，從而進一步提高整個SVM的效