最小二乘支持向量機(jī)及其在工業(yè)過(guò)程建模中的應(yīng)用.pdf

1、傳統(tǒng)的工業(yè)過(guò)程建模大多基于精確的數(shù)學(xué)模型，這種方法適用于運(yùn)行機(jī)理和過(guò)程特性已知的工業(yè)系統(tǒng)。對(duì)于結(jié)構(gòu)復(fù)雜、非線性、時(shí)變的工業(yè)系統(tǒng)，透徹分析其過(guò)程機(jī)理并建立精確數(shù)學(xué)模型是相當(dāng)困難的，常常需要付出很大的人力和物力。在許多實(shí)際生產(chǎn)過(guò)程中，對(duì)系統(tǒng)機(jī)理和數(shù)學(xué)模型知之甚少的工程技術(shù)人員，通過(guò)觀察和經(jīng)驗(yàn)總結(jié)仍然對(duì)系統(tǒng)進(jìn)行良好的手動(dòng)控制。因此，采用機(jī)器學(xué)習(xí)的方法來(lái)模擬人類的這種行為是一種有效的技術(shù)方法。 研究小樣本下的分類或回歸估計(jì)問(wèn)題，研究者們

2、提出了統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論作為機(jī)器學(xué)習(xí)一個(gè)分支，由于其優(yōu)異的特性及應(yīng)用前景受到越來(lái)越多的關(guān)注。支持向量機(jī)(SVM)衍生于統(tǒng)計(jì)學(xué)習(xí)理論，能夠在最小化訓(xùn)練誤差和模型復(fù)雜度之間找到最佳平衡點(diǎn)，是一種比較經(jīng)典的機(jī)器學(xué)習(xí)方法。由于秉承了統(tǒng)計(jì)學(xué)習(xí)理論的主要思想(如結(jié)構(gòu)風(fēng)險(xiǎn)最小化、VC維)，支持向量機(jī)可以在有限樣本下得到全局最優(yōu)，從而避免局部最優(yōu)問(wèn)題。 1999年Suykens與Vandewalle將支持向量機(jī)的二次規(guī)劃問(wèn)題替換為一組線

3、性等式，提出了最小二乘支持向量機(jī)(LS-SVM)。與采用線性或非線性規(guī)劃方法的其它支持向量機(jī)算法相比，LS-SVM具有降低計(jì)算復(fù)雜度的優(yōu)點(diǎn)。因此，最小二乘支持向量機(jī)在許多分類或回歸估計(jì)問(wèn)題中取得了很好的應(yīng)用效果。 本文以最小二乘支持向量機(jī)在建模、預(yù)測(cè)和控制方面的應(yīng)用為背景開展研究工作，提出一些適用于動(dòng)態(tài)系統(tǒng)特征提取、建模、預(yù)測(cè)和控制的最小二乘支持向量機(jī)改進(jìn)算法。本文的主要貢獻(xiàn)如下： 1．在支持向量機(jī)回歸估計(jì)中，輸入樣本間

4、的自相關(guān)或互相關(guān)的特性會(huì)惡化支持向量機(jī)的泛化性能。因此對(duì)支持向量機(jī)的輸入數(shù)據(jù)進(jìn)行特征提取，是解決該問(wèn)題的一個(gè)重要步驟。本文提出一種基于動(dòng)態(tài)獨(dú)立分量分析(DICA)的特征提取方法，由于從自相關(guān)和互相關(guān)的輸入變量中提取獨(dú)立分量，DICA更適用于動(dòng)態(tài)過(guò)程變量的特征提取。將DICA方法分別應(yīng)用于廣義支持向量機(jī)或最小二乘支持向量機(jī)回歸估計(jì)，構(gòu)成多層支持向量回歸估計(jì)器。第一層為降低分析復(fù)雜性，提高回歸估計(jì)魯棒性的DICA特征提取層：第二層為實(shí)現(xiàn)系統(tǒng)

5、動(dòng)態(tài)建模的SVM或LSSVM層。將DICA-LSSVM辨識(shí)器用于TE過(guò)程組分濃度估計(jì)與建模，仿真結(jié)果表明：DICA-LSSVM的估計(jì)精度優(yōu)于不采用特征提取的LSSVM估計(jì)器，以及基于PCA、DPCA、ICA特征提取方法的估計(jì)器。 2. 為提高LS-SVM動(dòng)態(tài)建模的實(shí)時(shí)性，本文提出一種基于限定、增長(zhǎng)和縮減記憶模式下的遞推最小二乘支持向量機(jī)算法(RLS-SVM)。三種記憶模式算法無(wú)需求逆，使最小二乘支持向量機(jī)的在線建模速度更加快捷。

6、進(jìn)一步合理運(yùn)用三種建模模式，又提出了以最小化預(yù)報(bào)誤差為目標(biāo)的自適應(yīng)建模方法，使得LS-SVM更適用于在線學(xué)習(xí)與預(yù)報(bào)的工業(yè)應(yīng)用場(chǎng)合。仿真算例和自來(lái)水廠投藥系統(tǒng)的仿真實(shí)例驗(yàn)證了該方法的有效性和優(yōu)越性。 3. 使最小二乘支持向量機(jī)的解具有稀疏性，本文提出一種稀疏解算法——矢量基學(xué)習(xí)。通過(guò)引入基矢量、基矢量集與解空間的概念，從分析新樣本矢量與解空間的夾角入手，推導(dǎo)出該樣本是否為基矢量的判斷準(zhǔn)則。隨著新樣本的到來(lái)，在線判別支持向量，從而使

7、LS-SVM的支持向量具有稀疏性。為改進(jìn)基于矢量基學(xué)習(xí)的LS-SVM動(dòng)態(tài)建模實(shí)時(shí)性，進(jìn)一步提出了適用于矢量基學(xué)習(xí)的增長(zhǎng)記憶模式遞推公式。仿真算例及水處理廠的應(yīng)用實(shí)例驗(yàn)證了該方法的可行性和有效性。 4. 考慮‘過(guò)度擬合’和‘野值點(diǎn)’對(duì)辨識(shí)模型的影響，應(yīng)用正態(tài)分布函數(shù)的一些特性，本文提出基于正態(tài)分布加權(quán)的最小二乘支持向量機(jī)。根據(jù)預(yù)測(cè)誤差的統(tǒng)計(jì)特性，以確定加權(quán)規(guī)則的參數(shù)，從而賦予訓(xùn)練樣本不同的權(quán)值。由于考慮了生產(chǎn)過(guò)程中樣本的一些特性，