基于廣泛內(nèi)核的CVM算法研究及參數(shù)C的選擇.pdf

1、支持向量機是近年來流行的機器學(xué)習(xí)方法，建立在結(jié)構(gòu)風(fēng)險最小化原則的基礎(chǔ)上，因此能夠較好地處理小樣本情況下的學(xué)習(xí)問題。然而在支持向量機算法的大樣本學(xué)習(xí)應(yīng)用中，存在著三大必須解決的問題：算法速度問題、支持向量存量問題和算法參數(shù)選擇問題。目前主流的支持向量機優(yōu)化方程和訓(xùn)練算法難以同時滿足速度快、內(nèi)存占用少并且支持向量少的要求，主要困難在于支持向量機訓(xùn)練過程中支持向量個數(shù)太多。核向量機是支持向量機的一個重要改進，可以極大減少支持向量的個數(shù)，但是仍

2、然存在內(nèi)核限制，泛化能力低等缺陷。所以本文在分析了支持向量機的基本理論和基本性質(zhì)的基礎(chǔ)上，針對核向量機算法的缺點和不足，提出基于廣泛內(nèi)核的核向量機算法和基于核聚類的相對距離比較方法，克服了現(xiàn)存算法存在的缺陷，提高了支持向量機的訓(xùn)練與分類效率。
　　 首先針對最小閉包球問題的內(nèi)核限制問題，分析了最小閉包球和中心約束閉包球之間的關(guān)系；在此基礎(chǔ)上，針對最小閉包球問題的二次規(guī)劃問題，提出新超球的球心和半徑的更新方法，從而得到新的基于廣泛

3、核的核支持向量機算法；從理論上證明了基于廣泛核的核支持向量機算法的收斂性，并給出了該算法的時間復(fù)雜度和空間復(fù)雜度。
　　 其次針對已有的參數(shù)C選擇算法缺乏啟發(fā)性以及選取困難的不足，本文在分析了核聚類算法和距離比較算法的基礎(chǔ)之后，提出基于核聚類的相對距離比較方法。該算法利用核聚類算法在特征空間對樣本點進行聚類，然后根據(jù)每個樣本點到聚類中心的距離的比值，得到參數(shù)C。本文在理論方面，分析了算法的復(fù)雜度，選取的參數(shù)提高了核支持向量機算法

4、的泛化能力。
　　 最后，本文在Linux環(huán)境下進行實驗，從CPU運行時間、核向量集的大小及測試準(zhǔn)確率三個方面，分別分析比較核向量機、簡單核向量機和基于廣泛內(nèi)核的核向量機三個算法；分別利用交叉驗證法、結(jié)構(gòu)風(fēng)險法和基于核聚類的距離計較方法選擇參數(shù)C，然后分析比較算法的預(yù)測準(zhǔn)確率。實驗結(jié)果表明，基于廣泛內(nèi)核的核向量機去除了內(nèi)核的限制，降低了算法的復(fù)雜度，并提高了算法的泛化能力；基于核聚類的相對距離計較方法可以選取合適的參數(shù)C，提高算