核方法模型選擇與模型組合的譜方法.pdf

1、核方法是機器學習的重要方法。模型選擇與模型組合問題是核方法理論研究和實際應用的關鍵問題。當前，核方法模型選擇準則大多基于模型復雜性，但模型復雜性難以表示與度量；核方法模型組合方法一般應用全集組合策略，泛化界沒有達到理論最優(yōu)值；核方法模型組合的優(yōu)化算法主要采用半定規(guī)劃法，計算效率較低。
　　 針對上述問題，本文基于矩陣譜理論，提出了核方法模型選擇與組合的核矩陣譜分析方法。研究了核矩陣的選擇準則、組合方法與優(yōu)化算法，并通過實驗分析，

2、表明了所提出方法的合理性和有效性。主要研究工作包括：
　　 1.在核方法模型選擇準則方面，針對現(xiàn)有模型復雜性難以表示與度量問題，提出了核矩陣選擇的一階準則與二階準則。分析了核矩陣泛化界與顯著特征值數(shù)、位二特征值的關系，由此提出了核矩陣選擇的一階準則；證明了近似最優(yōu)集中核矩陣凸組合的泛化界，由此提出了核矩陣選擇的二階準則。將核方法模型選擇歸約為核矩陣譜性質(zhì)的計算與分析，避免了直接表示與度量核模型復雜性。理論分析了AIC、MDL等模

3、型選擇準則的譜依賴性，實驗驗證了AIC、MDL等準則與一、二階準則的一致性。
　　 2.在核方法模型組合方法方面，針對現(xiàn)有全集組合法泛化界O(1/√n)沒有達到理論最優(yōu)值問題，提出了核矩陣凸組合方法COSK。COSK采納核矩陣的一階準則與二階準則，對核矩陣集進行兩次篩選，逐階生成核矩陣備選集與近似最優(yōu)集，并應用近似最優(yōu)集進行組合，可使核矩陣凸組合的泛化界達到理論最優(yōu)值D(1/n)。在標準數(shù)據(jù)集上對比了全集組合方法與COSK的泛化