支持向量機集成學習算法研究.pdf

1、集成學習通過訓練多個個體學習器并將其結果進行合成，顯著地提高了學習系統(tǒng)的泛化能力，作為機器學習的第四大研究方向已經越來越引起人們的重視，為提高機器學習的泛化性能提供了另一種新的解決途徑。支持向量機作為一種“穩(wěn)定的”學習算法對集成學習技術提出了新的挑戰(zhàn)，研究和探索新型的支持向量機集成學習算法成為目前研究的熱點問題。支持向量機集成學習的研究開始較晚，研究較少。如何設計出更有效的支持向量機集成學習實現(xiàn)算法，是目前支持向量機集成學習的關鍵問題。

2、本文分別從集成學習中的個體生成和結論合成兩方面入手展開研究，充分挖掘支持向量機集成的優(yōu)勢和潛力。
　　 針對支持向量機對核函數(shù)類型及參數(shù)擾動的敏感性，而現(xiàn)有參數(shù)擾動方法都是預先選定一種核函數(shù)，沒有考慮核函數(shù)類型對支持向量機性能的影響，引入更加靈活的混合核函數(shù)，對混合核函數(shù)各參數(shù)進行擾動，其實質是實現(xiàn)了對支持向量機模型的擾動，提出一種模型一重擾動的支持向量機集成算法。仿真實驗結果表明，該算法通過引入更多參數(shù)參與擾動，提高了支持向量

3、機集成的差異度和泛化性能。
　　 在模型擾動基礎上，結合特征擾動機制，研究基于模型與特征二重擾動的支持向量機集成算法。已有特征擾動方法都是在原始特征空間中進行，沒有考慮特征相關性對個體支持向量機性能及集成差異度的影響。引入ICA特征變換方法，利用ICA方法對特征空間進行變換，去除特征間的相關性；在變換后的獨立成分空間中，給出基于模型與特征二重擾動機制的支持向量機集成算法。仿真實驗結果表明，該方法進一步提高了集成的差異度和泛化性能

4、。
　　 選擇性集成方法從集成系統(tǒng)中選擇出部分個體參與集成，達到了提高集成泛化性能的目的。經典的選擇性集成算法還存在計算復雜度高、學習效率差、性能低等缺陷，提出利用人工魚群優(yōu)化算法優(yōu)化結論合成的權值，引入人工魚群算法求解的全局性、初值不敏感、魯棒性強、收斂速度快等優(yōu)點，實現(xiàn)一種新的選擇性支持向量機集成算法，仿真實驗結果表明，其在泛化性能、學習效率、集成規(guī)模等方面都有所改善。
　　 基于模糊積分法的支持向量機集成算法可以充

5、分利用支持向量機的度量層輸出信息，進一步提高集成的泛化性能。已有的模糊積分集成法利用訓練樣本的先驗靜態(tài)信息來確定模糊密度值，其對所有的測試樣本都是固定不變的，不能充分體現(xiàn)不同個體支持向量機相對于不同待測樣本分類的不同置信度。提出一種基于自適應模糊積分法的支持向量機集成算法，根據(jù)各個體支持向量機分類器的度量層輸出信息確定個體支持向量機分類器對待測樣本分類的置信度，并據(jù)此實現(xiàn)自適應模糊密度賦值。仿真實驗結果表明，該方法進一步了提高支持向量機