支持向量回歸機(jī)算法理論研究與應(yīng)用.pdf

1、支持向量機(jī) (Support Vector Machine，SVM) 是由Boser,Guyon 和 Vapnik發(fā)明，并首次在計(jì)算學(xué)習(xí)理論(COLT) 1992年年會(huì)論文中提出。它是繼人工神經(jīng)網(wǎng)絡(luò)后，智能計(jì)算領(lǐng)域發(fā)展的又一里程碑。支持向量機(jī)以嚴(yán)格證明的統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，使用核函數(shù)把數(shù)據(jù)從樣本空間映射到高維特征空間，將非線性問題轉(zhuǎn)化為線性可分問題，獲得最優(yōu)解，是一重大的理論創(chuàng)新。支持向量機(jī)有嚴(yán)密的數(shù)學(xué)基礎(chǔ)，訓(xùn)練結(jié)果只與支持向量有關(guān)，且

2、泛化性強(qiáng)，成為了解決非線性問題的重要工具，因此，受到智能計(jì)算領(lǐng)域?qū)W者的廣泛關(guān)注，在模式分類和回歸領(lǐng)域得到了廣泛的應(yīng)用。 本文在前人成果及前期工作的基礎(chǔ)上，根據(jù)支持向量機(jī)訓(xùn)練結(jié)果只與支持向量有關(guān)的特性，重點(diǎn)研究了大樣本條件下，以降低核矩陣規(guī)模、逐步搜索支持向量、快速構(gòu)建支持向量回歸機(jī)(Support Vector Regression，SVR)為目的的SVR算法；以及在異常數(shù)據(jù)剔除、故障檢測、沒有確切定義的目標(biāo)變量定義和鐵水脫硫、

3、提釩中的應(yīng)用。論文的主要?jiǎng)?chuàng)新點(diǎn)可以歸納如下： (1) 簡要證明支持向量回歸機(jī)存在近似超平面。根據(jù)支持向量機(jī)訓(xùn)練結(jié)果只與支持向量有關(guān)，與非支持向量無關(guān)，且支持向量分布于超平面附近也必然分布于其近似超平面附近的特性，提出了從近似超平面出發(fā)構(gòu)建的支持向量回歸機(jī)算法——支持向量逐步回歸機(jī)算法。算法的核心思想是：應(yīng)用核函數(shù)尼k(x,x<,i>)(x<,i>為支持向量)轉(zhuǎn)換訓(xùn)練樣本到特征空間；計(jì)算在特征空間中樣本點(diǎn)到近似超平面的距離，并按距

4、離升序?qū)颖九判?；抽取距近似超平面距離最小的m個(gè)樣本與上次訓(xùn)練的近似超平面的 k 個(gè)支持向量一起構(gòu)成新的訓(xùn)練樣本子集；訓(xùn)練新的近似超平面；這樣反復(fù)循環(huán)，逐步搜索支持向量。 由于轉(zhuǎn)換訓(xùn)練樣本到特征空間的時(shí)間復(fù)雜度與近似超平面支持向量個(gè)數(shù) k 有關(guān)，轉(zhuǎn)換計(jì)算費(fèi)時(shí)，用|y-f(x)|代替樣本點(diǎn)到近似超平面的距離改進(jìn)支持向量逐步回歸機(jī)算法，可減少訓(xùn)練樣本從樣本空間向特征空間轉(zhuǎn)換的時(shí)間花銷。 由于每次從搜索剩余樣本中抽取距近似超平

5、面最近的m個(gè)樣本時(shí)，按照距近似超平面的距離升序?qū)τ?xùn)練樣本排序要花費(fèi)O(ι<'2>)的時(shí)間花銷，改進(jìn)該步可降低支持向量逐步回歸機(jī)算法的時(shí)間復(fù)雜度。其改進(jìn)思想是：將搜索剩余樣本的前面 m個(gè)樣本距近似超平面的距離和樣本編號(hào)存入2m個(gè)存儲(chǔ)單元中；求取這m個(gè)樣本中距近似超平面的距離最大樣本的距離及樣本編號(hào)；每計(jì)算一個(gè)新樣本距近似超平面的距離就與之比較，如果新樣本的距離小于這個(gè)最大距離，就用它置換存儲(chǔ)的m個(gè)樣本中距近似超平面距離最大樣本；執(zhí)行一次循

6、環(huán)抽取m個(gè)樣本。改進(jìn)后，構(gòu)建新的訓(xùn)練樣本子集的時(shí)間復(fù)雜度降低為O(ι)。并利用整數(shù)規(guī)劃對(duì) m 的取值進(jìn)行了優(yōu)化。最后，進(jìn)行仿真實(shí)驗(yàn)，驗(yàn)證了支持向量逐步回歸機(jī)算法及其改進(jìn)算法的收斂性和有效性。 (2) 根據(jù)LS-SVM不具有稀疏解的特性，提出了LS-SVM組合優(yōu)化算法。其算法思想是：運(yùn)用兩模型的組合優(yōu)化的解析解，將大樣本隨機(jī)劃分的各訓(xùn)練樣本子集(每訓(xùn)練樣本子集包含p個(gè)樣本)獨(dú)自訓(xùn)練的LS-SVM依次組合—稀疏化(保留k個(gè)支持向量)

7、一訓(xùn)練這k個(gè)支持向量的LS-SVM-再組合，……，這樣循環(huán)，獲得最終的LS-SVM。LS-SVM組合優(yōu)化算法的時(shí)間復(fù)雜度從傳統(tǒng)LS SVM算法O(ι<'3>)的時(shí)間復(fù)雜度降低為O((k+p)<'3>)。 由于稀疏化算法非常耗時(shí)，用組合后直接稀疏掉 p 個(gè)(劃分的訓(xùn)練樣本子集包含的樣本個(gè)數(shù))訓(xùn)練樣本改進(jìn)了上述算法，減少稀疏化的時(shí)間花銷。并利用整數(shù)規(guī)劃對(duì)劃分的訓(xùn)練樣本子集包含的樣本個(gè)數(shù)p進(jìn)行了優(yōu)化。 最后，進(jìn)行仿真實(shí)驗(yàn)，驗(yàn)證

8、了LS-SVM組合優(yōu)化算法及其改進(jìn)算法的收斂性和有效性。 (3) 分析了支持向量回歸中異常數(shù)據(jù)的特征，提出了支持向量回歸中剔除異常數(shù)據(jù)算法。仿真結(jié)果顯示，提出的剔除支持向量回歸中異常數(shù)據(jù)的算法是有效的。 根據(jù)支持向量回歸中剔除異常數(shù)據(jù)算法原理，提出了用系統(tǒng)正常運(yùn)行數(shù)據(jù)建立支持向量回歸機(jī)，進(jìn)行故障檢測的算法思想。根據(jù)系統(tǒng)輸出的時(shí)變性，實(shí)現(xiàn)了建立靜態(tài)模型的在線故障檢測算法和自適應(yīng)動(dòng)態(tài)模型的故障檢測算法，并進(jìn)行仿真，其結(jié)果表明