支持向量機(jī)參數(shù)選擇及訓(xùn)練算法研究.pdf

1、基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面。支持向量機(jī)(SVM)是近年發(fā)展起來的一種基于統(tǒng)計學(xué)習(xí)理論(SLT)處理小樣本學(xué)習(xí)問題的算法，它采用結(jié)構(gòu)風(fēng)險最小化原理，解決了過學(xué)習(xí)、非線性、維數(shù)災(zāi)、局部極小點(diǎn)等問題，成為目前最普遍使用的機(jī)器學(xué)習(xí)算法。本文對支持向量機(jī)中的參數(shù)選擇、增量學(xué)習(xí)、多類分類、在線訓(xùn)練等多個問題的模型、算法及其在證券投資決策中的應(yīng)用進(jìn)行了研究和探討。主要工作如下： 1、提出了一種改進(jìn)的免疫網(wǎng)絡(luò)算法。針對標(biāo)準(zhǔn)免疫

2、網(wǎng)絡(luò)在函數(shù)尋優(yōu)過程中存在的問題，提出了基于“年齡”的搜索半徑策略，以增強(qiáng)局部搜索能力；改進(jìn)了網(wǎng)絡(luò)的擴(kuò)展策略，以兼顧樣本多樣性與計算效率；改進(jìn)了網(wǎng)絡(luò)收縮時的保留策略，防止最優(yōu)解的退化，消除了原算法在尋優(yōu)過程后期最優(yōu)解性能的波動現(xiàn)象。數(shù)值實(shí)驗(yàn)表明，與原算法相比，改進(jìn)后的算法在找到全局最優(yōu)解的比例和效率方面有非常明顯的提高。 2、將SVM預(yù)測精度看作是一個關(guān)于模型參數(shù)的不連續(xù)的多極值函數(shù)，基于上述改進(jìn)的免疫網(wǎng)絡(luò)算法，對支持向量機(jī)的模型

3、參數(shù)選擇問題進(jìn)行了研究，將免疫網(wǎng)絡(luò)算法與支持向量機(jī)相結(jié)合形成一個AIN-SVM算法。分別對分類和回歸數(shù)據(jù)集進(jìn)行了測試，結(jié)果表明該方法能夠更快速地在更大的空間內(nèi)進(jìn)行有效搜索，與傳統(tǒng)的交叉驗(yàn)證方法相比，在搜索速度與稀疏性上具有較大的優(yōu)勢。 3、針對最小二乘支持向量機(jī)(LS-SVM)的計算特點(diǎn)，提出了快速的遞增學(xué)習(xí)過程和遞減學(xué)習(xí)過程。通過讓訓(xùn)練樣本以序列輸入方式替代批量輸入方式，交替地對樣本進(jìn)行遞增訓(xùn)練和遞減訓(xùn)練，并迭代訓(xùn)練多次，得到

4、了迭代增量LS-SVM訓(xùn)練算法。通過對多個UCI和Statlog中數(shù)據(jù)集的測試表明，該算法與現(xiàn)有的采用迭代裁剪方法的稀疏近似LS-SVM算法相比，在識別精度相當(dāng)?shù)那闆r下，在訓(xùn)練效率和稀疏性方面都具有明顯的優(yōu)勢，有效地實(shí)現(xiàn)了LS-SVM的稀疏性。 4、針對傳統(tǒng)多類分類方法中存在的“不可識別區(qū)域”問題，提出了“1-b-1，，的方法，該方法消除了“不可識別區(qū)域”，并有效降低了多個二類分類器的訓(xùn)練運(yùn)算量。通過對“1-b-1”的進(jìn)一步改進(jìn)

5、，提出了自適應(yīng)二叉樹多類分類方法(ABTSVM)，該方法利用聚類分析中的類距離和類包含的思想，通過先聚類再分類的方式，解決了“1-b-1”中存在的隨機(jī)性問題。對多個UCI和Statlog中的多類數(shù)據(jù)集進(jìn)行了測試，ABTSVM在識別精度和支持向量數(shù)量方面都表現(xiàn)出良好的性能。 5、在(3)中的增量式訓(xùn)練算法的基礎(chǔ)上，給出了適合實(shí)時系統(tǒng)使用的在線增量稀疏LS-SVR訓(xùn)練算法。通過簡化增量訓(xùn)練中的遞增學(xué)習(xí)過程和遞減學(xué)習(xí)過程，進(jìn)一步提高了

6、訓(xùn)練效率，同時將支持向量數(shù)目維持在較低水平、提高了測試速度。通過對兩個標(biāo)準(zhǔn)集的測試表明：提出的在線增量稀疏LS-SVR與現(xiàn)有的在線增量算法相比，改善了訓(xùn)練效率、測試速度和預(yù)測精度的綜合性能。 6、將支持向量機(jī)分類方法應(yīng)用于上市公司的財務(wù)風(fēng)險評價模型及預(yù)警研究，將支持向量機(jī)回歸方法應(yīng)用于股市指數(shù)的預(yù)測研究。使用AIN-SVM進(jìn)行上市公司的財務(wù)風(fēng)險評價模型及預(yù)警研究，使用ABTSVM進(jìn)行上市公司的多類財務(wù)風(fēng)險評價模型研究，與現(xiàn)有的方