精確增量式支持向量機(jī)的研究與應(yīng)用.pdf

1、自20世紀(jì)90年代中期由Vapnik等人提出支持向量機(jī)(SVMs)，由于其具有通用性、魯棒性以及良好推廣性等特點，已經(jīng)成為解決分類、回歸等統(tǒng)計學(xué)習(xí)問題一種流行的技術(shù)，并廣泛應(yīng)用于數(shù)據(jù)挖掘、模式識別以及生物信息學(xué)等領(lǐng)域。然而在實際應(yīng)用中，數(shù)據(jù)通常是在線環(huán)境下增量提供的(例如信息檢索、協(xié)同過濾、航班延誤預(yù)警等)，這時批處理算法由于不具有實時性而通常會失效，增量式算法為解決該類問題提供了一種可行的途徑。
　　 2001年，Cauwen

2、berghs和Poggio首次提出了一個精確有效的增量式支持向量機(jī)算法(C&P算法)，本文將以C&P算法為研究對象展開深入的研究，致力于完善C&P算法在理論分析與算法擴(kuò)展方面(v支持向量機(jī)，排列支持向量機(jī))的工作，并應(yīng)用C&P算法思想解決v支持向量回歸機(jī)的解路徑問題。本文取得的創(chuàng)新研究成果如下：
　　 (1)對于標(biāo)準(zhǔn)的C&P算法，探討了算法每次迭代的可行性，并證明了經(jīng)過有限步迭代后該算法必將收斂于最優(yōu)解。
　　 (2)對

3、于標(biāo)準(zhǔn)的v支持向量分類機(jī)，首先給出了一種修改了的問題表示形式，在此基礎(chǔ)上，提出一種新的增量式算法。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實驗說明了該算法能夠盡量避開不可行的更新路徑，并且在有限步迭代后成功地收斂到最優(yōu)解，在高斯核上獲得更快的收斂速度，比批處理算法效率更高。
　　 (3)在根據(jù)最大化間隔原則得出的一個排列問題表達(dá)形式的基礎(chǔ)上，提出了一個新的增量式算法。該增量式算法包括兩個步驟：第一步為松弛的絕緣增量調(diào)整；第二步為嚴(yán)格的恢復(fù)調(diào)整。理論分析

4、可以證明通過這兩個步驟，該增量式算法盡可能地避開不可行更新路徑，并且在有限步后收斂到問題的最優(yōu)解。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實驗也說明了本文提出的問題表達(dá)形式和由Shashua和Levin提出的兩個問題表達(dá)形式有相似的預(yù)測精度，而該增量式算法在高斯核上有較快的收斂速度。
　　 (4)對于標(biāo)準(zhǔn)的v支持向量回歸機(jī)，首先給出了一種修改了的問題表示形式，在此基礎(chǔ)上，提出了一種新的v解路徑算法，該算法能針對參數(shù)v刻畫出所有對應(yīng)的解。實驗和理論分析說