正則化路徑上的支持向量機(jī)模型組合.pdf

1、模型組合旨在融合并利用假設(shè)空間中的多個(gè)模型,提髙學(xué)習(xí)系統(tǒng)的可靠性和泛化性.目前,基模型產(chǎn)生通?；谟?xùn)練樣本集采樣,實(shí)現(xiàn)過程比較復(fù)雜;模型組合一般利用全模型集合,確定參與組合的模型時(shí)未考慮新數(shù)據(jù)的分布;理論研究方面,缺乏模型組合一致性的工作.
　　針對(duì)這些問題,研究基于正則化路徑的支持向量機(jī)(Support Vector Ma-chines,SVM)模型組合,證明正則化路徑上SVM模型組合一致性,設(shè)計(jì)有效的SVM模型組合算法.主要研

2、究?jī)?nèi)容包括:
　　1.應(yīng)用正定矩陣Cholesky分解方法,分別提出二分類SVM正則化路徑算法PDSVCPath和回歸SVM正則化路徑算法PDSVRPath.基于正定矩陣的SVM正則化路徑算法可有效解決訓(xùn)練樣本集中包含重復(fù)數(shù)據(jù)、近似數(shù)據(jù)或線性相關(guān)數(shù)據(jù)的問題.
　　2.給出SVM模型組合一致性充分條件,證明正則化路徑上二分類SVM模型組合的Ia-風(fēng)險(xiǎn)一致性及回歸SVM模型組合的Le-風(fēng)險(xiǎn)一致性,奠定正則化路徑上的SVM組合方法

3、的理論基礎(chǔ).
　　3.設(shè)計(jì)基于正則化路徑的三步式SVM貝葉斯組合.首先,基于SVM正則化路徑分段線性性質(zhì)構(gòu)建初始模型集;然后,應(yīng)用模型集修剪策略獲得候選模型集,修剪策略包括通用于二分類SVM和回歸SVM的Occam窗口方法、適用于二分類SVM的平均GACV準(zhǔn)則和適用于回歸SVM的平均GCV準(zhǔn)則;最后,根據(jù)新輸入由最小近鄰法確定最終組合模型集,并實(shí)現(xiàn)貝葉斯組合預(yù)測(cè).
　　基于正則化路徑的三步式SVM貝葉斯組合基礎(chǔ)扎實(shí),易于實(shí)現(xiàn)