支持向量機(jī)集成學(xué)習(xí)方法研究.pdf

1、支持向量機(jī)(Support Vector Machine，SVM)是近年來受到廣泛關(guān)注的一類學(xué)習(xí)機(jī)器，它以統(tǒng)計(jì)學(xué)習(xí)理論(Statistical Learning Theory,SLT)為基礎(chǔ)，具有簡潔的數(shù)學(xué)形式、標(biāo)準(zhǔn)快捷的訓(xùn)練方法和良好的泛化性能，已廣泛應(yīng)用于模式識(shí)別、函數(shù)估計(jì)和時(shí)間序列預(yù)測(cè)等數(shù)據(jù)挖掘問題。但在SVM的研究中仍然存在許多問題尚待解決，例如:模型選擇問題、針對(duì)大規(guī)模訓(xùn)練集的學(xué)習(xí)效率問題等。目前，在SVM的學(xué)習(xí)訓(xùn)練過程中，幾

2、乎所有研究都以單個(gè)支持向量機(jī)作為訓(xùn)練器，關(guān)于SVM的多學(xué)習(xí)器學(xué)習(xí)方法研究甚少。集成學(xué)習(xí)(EnsembleLearning)技術(shù)作為一種有效的多學(xué)習(xí)器學(xué)習(xí)方法已獲得許多有價(jià)值的結(jié)果，將集成學(xué)習(xí)技術(shù)引入到SVM學(xué)習(xí)中，可以更好地提高SVM的泛化能力，因此，基于集成學(xué)習(xí)的SVM學(xué)習(xí)方法研究成為目前SVM研究中一個(gè)重要的方向。本文對(duì)SVM集成學(xué)習(xí)方法進(jìn)行了系統(tǒng)地研究，主要內(nèi)容如下:
　　(1)對(duì)于集成學(xué)習(xí)技術(shù)的理論分析、實(shí)現(xiàn)方法的設(shè)計(jì)和實(shí)

3、際應(yīng)用進(jìn)行了系統(tǒng)地研究。
　　(2)對(duì)現(xiàn)有的集成學(xué)習(xí)方法進(jìn)行了簡要介紹，分析了兩種經(jīng)典的集成學(xué)習(xí)方法Bagging和Boosting、比較了兩者的優(yōu)缺點(diǎn)、考察了它們的生效機(jī)制。
　　(3)提出兩種回歸SVM集成學(xué)習(xí)方法，即:基于Bagging的回歸SVM集成學(xué)習(xí)方法和基于參數(shù)變換的回歸SVM集成學(xué)習(xí)模型。
　　(4)提出了一種回歸SVM選擇性集成學(xué)習(xí)方法，通過采用特定閾值選擇合適的子SVM，從而進(jìn)一步提高整個(gè)SVM的效