偏最小二乘算法及其在基于結構風險最小化的機器學習中的應用.pdf

1、機器學習是非線性科學研究的主要內(nèi)容之一。大部分建立非線性系統(tǒng)模型的機器學習方法以極小化訓練誤差為優(yōu)化目標，即基于經(jīng)驗風險最小化原則。近年來，基于統(tǒng)計學習理論，兼顧模型的經(jīng)驗風險和置信范圍的基于結構風險最小化原則已成為機器學習研究熱點之一。偏最小二乘算法作為一種源于過程控制的算法，借助提取數(shù)據(jù)中解釋性最強的綜合信息，實現(xiàn)對高維數(shù)據(jù)空間的降維處理，克服變量多重相關性。核偏最小二乘算法、支持向量機和模糊系統(tǒng)建模都是機器學習的有效學習方法，但在

2、建立非線性模型的過程中各自仍存在一些不足。 本文以核偏最小二乘算法、支持向量機和模糊系統(tǒng)建模等機器學習方法與偏最小二乘算法結合為思路，在機器學習過程中實現(xiàn)結構風險最小化原則為目標，展開論文的研究。 根據(jù)Mercer定理，本文提出了一種簡化核偏最小二乘算法，并同時提出一種滿足結構風險最小化原則的風險的指標，仿真計算說明了該指標的有效性。為了解決核偏最小二乘算法中核函數(shù)矩陣維數(shù)隨辨識樣本膨脹的問題，本文提出的分塊核偏最小二乘

3、算法，通過劃分核函數(shù)矩陣，減少了核偏最小二乘算法的計算負擔。 針對模糊系統(tǒng)模型的“規(guī)則數(shù)爆炸”問題，本文提出了基于子空間劃分的模糊系統(tǒng)模型，并給出了基于遺傳算法的自適應模型辨識方法。該方法按照一致、完備原則劃分論域，部分地解決了模糊系統(tǒng)的“規(guī)則數(shù)爆炸”問題。在改進算法當中，使用偏最小二乘算法對數(shù)據(jù)進行預處理、建立初始模型，再利用基于子空間劃分的模糊系統(tǒng)模型對殘差進行建模。通過ε不敏感損失函數(shù)和子空間的劃分達到模型的置信范圍與經(jīng)驗

4、風險的折中，實現(xiàn)了結構風險最小化。 由于偏最小二乘算法泛化能力較差，本文將支持向量機算法和偏最小二乘算法結合，提出了基于結構風險最小化的加權偏最小二乘算法。使用支持向量機訓練算法計算加權偏最小二乘算法中外模型的線性回歸模型，實現(xiàn)了結構風險最小化原則。然后本文將支持向量機算法應用于T-S模糊系統(tǒng)模型的建模過程中，提出了基于支持向量機的T-S模糊系統(tǒng)模型的建模方法。該算法以支持向量為中心在論域空間模糊聚類，然后根據(jù)聚類結果形成模糊規(guī)

5、則：模糊規(guī)則的前件為聚類中心，后件為對應該類的的線性偏最小二乘回歸模型。不但可以自適應地建立T-S模糊系統(tǒng)模型，而且實現(xiàn)了結構風險最小化原則。為了能夠在對時變系統(tǒng)建?；虼嬖诖髷?shù)據(jù)量時建模過程中完成野點檢測算法，本文提出了魯棒遞推偏最小二乘算法，解決了通常情況下計算量大的問題。通過將遞推偏最小二乘法與魯棒主分量回歸算法相結合，不但有效解決了計算量大的問題，而且有效避免了存在多個野點時的掩蓋和淹沒現(xiàn)象。接觸網(wǎng)檢測對于高速電氣化鐵路安全運營意