基于數(shù)據(jù)分布特征的支撐向量機(jī)核選擇方法研究.pdf

1、支撐向量機(jī)(Support Vector Machine，SVM)是近年來受到廣泛關(guān)注的一類學(xué)習(xí)機(jī)器，它以統(tǒng)計(jì)學(xué)習(xí)理論(Statistical Learning Theory，SLT)為基礎(chǔ)，具有簡潔的數(shù)學(xué)形式、標(biāo)準(zhǔn)快捷的訓(xùn)練方法和良好的泛化性能，已廣泛應(yīng)用于模式識別、函數(shù)估計(jì)和時間序列預(yù)測等數(shù)據(jù)挖掘問題。目前SVM的研究熱點(diǎn)主要有：SVM的模型選擇、快速學(xué)習(xí)算法研究等。由于支撐向量機(jī)是一種基于核的學(xué)習(xí)方法，所以核及相關(guān)參數(shù)的選取對泛化

2、能力有著重要的影響，進(jìn)而對支撐向量機(jī)的性能也有著重要的影響。如何有效地進(jìn)行核及相關(guān)參數(shù)的選擇是支撐向量機(jī)研究領(lǐng)域的一個重要問題。 本文對于SVM的核及相關(guān)參數(shù)的選擇問題進(jìn)行了系統(tǒng)研究，主要內(nèi)容如下： (1)對現(xiàn)有的核函數(shù)及核選擇方法進(jìn)行了詳細(xì)的分析和研究。 (2)給出了四種測試訓(xùn)練集幾何分布的算法。本文利用分類問題的幾何意義直接從數(shù)據(jù)集出發(fā)，按照兩類樣本點(diǎn)之間的距離關(guān)系，分別給出SVM訓(xùn)練集呈圓形、環(huán)形、球狀、柱

3、狀分布的測試算法，為基于數(shù)據(jù)分布的核選擇方法提供了實(shí)現(xiàn)的基礎(chǔ)。 (3)提出了基于數(shù)據(jù)分布的核函數(shù)及參數(shù)選擇方法。目前大多數(shù)核選擇方法都不考慮數(shù)據(jù)的分布特征，沒有充分利用隱含在數(shù)據(jù)中的信息。如果已知數(shù)據(jù)的分布特征或可得到其數(shù)據(jù)分布特征的近似，在此基礎(chǔ)上，再進(jìn)行SVM核函數(shù)及其參數(shù)的選擇，則可提高SVM的泛化能力。本文在確定訓(xùn)練數(shù)據(jù)集幾何分布的基礎(chǔ)上，從給定的核函數(shù)集中選擇一種最恰當(dāng)?shù)暮撕瘮?shù)，應(yīng)用到支撐向量機(jī)上，以期獲得最優(yōu)的性能。