核機器的理論、算法及應(yīng)用研究.pdf

1、統(tǒng)計學(xué)習(xí)理論為系統(tǒng)地研究小樣本情況下的機器學(xué)習(xí)問題提供了一套比較完整的理論體系.20世紀90年代,在Vapnik等人的不斷努力下,統(tǒng)計學(xué)習(xí)理論得到了進一步完善和發(fā)展.在這一基礎(chǔ)上提出的支持向量機(Support Vector Machine.SVM),是一種通用的具有很強泛化能力的核學(xué)習(xí)機器.它能較好地解決小樣本、非線性、過學(xué)習(xí)、維數(shù)災(zāi)和局部極小等闖題,從而廣泛應(yīng)用于模式識別、回歸估計、函數(shù)逼近以及密度估計等各個領(lǐng)域.正是統(tǒng)計學(xué)習(xí)理論和

2、再生核技術(shù)的完美結(jié)合造就了支持向量機空前的成功.同時也激發(fā)了近幾年來核機器研究的迅猛發(fā)展.目前,在學(xué)習(xí)系統(tǒng)中,有關(guān)核的理論及學(xué)習(xí)方法的研究正逐漸引起人們的廣泛重視并成為新的研究熱點. 本論文從核機器的理論、算法和應(yīng)用相結(jié)合的角度出發(fā),在核函數(shù)的構(gòu)造、核方法的擴展、核學(xué)習(xí)算法的改進以及核機器在復(fù)雜非線性系統(tǒng)中的建模、辨識、控制和故障診斷等方面的應(yīng)用進行了系統(tǒng)的研究.本文的主要工作如下: 1.基于小波框架的核函數(shù)的構(gòu)造針對常

3、用核函數(shù)由于基的不完備性導(dǎo)致核機器性能不佳的缺陷,通過對再生核Hilbert空問(RKHS)和小波框架理論的研究,提出了一類新的基于統(tǒng)一小波框架理論構(gòu)建容許支持向量核的方法.首先結(jié)合連續(xù)小波變換,研究了具有平移不變性質(zhì)的連續(xù)小波框架核函數(shù)的構(gòu)建方法;其次,我們研究了一種更具有一般意義的基于核算子構(gòu)造多尺度再生小波核的實用方法;在此基礎(chǔ)上,將所提小波核函數(shù)引入支持向量機,對多尺度正交小波核及其投影核子空問的正則化逼近特性進行了研究.實驗表

4、明上述小波核函數(shù)具有優(yōu)良的時頻多分辨特性和良好的函數(shù)逼近能力,在函數(shù)估計和非線性系統(tǒng)辨識中表現(xiàn)出極強的泛化性能.上述核函數(shù)構(gòu)造方法為支持向量機和其他的核學(xué)習(xí)方法提供了更多的選擇余地. 2.基于核的統(tǒng)計投影回歸方法的擴展將核方法進一步拓展到包含內(nèi)積運算的線性統(tǒng)計分析領(lǐng)域,系統(tǒng)地研究了基于核的非線性統(tǒng)計投影分析及回歸方法.主要進行了如下四個方面的工作:首先,在線性偏最小二乘(PLS)的NIPALS算法基礎(chǔ)上,提出了兩種新的核偏最小二

5、乘(KPLS)改進算法.該KPLS方法首先通過核函數(shù)將輸入數(shù)據(jù)映射到一個高維特征空間,然后在特征空間里通過對傳統(tǒng)NIPALS算法的改進構(gòu)造線性PLS回歸模型,為線性的PLS"核算法"和非線性的KPLS提供了一個統(tǒng)一的框架.其次,將隱核特征映射技術(shù)引入PLS,提出了一種隱核偏最小二乘方法.第三,通過引入樣條核函數(shù),提出了一種新的樣條核偏最小二乘算法(sK-PLS).最后,系統(tǒng)分析了KPLS、KPCA和KCCA的投影結(jié)構(gòu)并進行了對比研究.實

6、驗表明特征空間的統(tǒng)計投影結(jié)構(gòu)良好的函數(shù)逼近特性大大加強了上述核方法非線性建模的泛化性能,從而有效避免了最小二乘法在變量之間存在多重相關(guān)性時的病態(tài)問題. 3.局部加權(quán)核回歸的在線學(xué)習(xí)算法改進對支持向量機在線學(xué)習(xí)算法的改進是機器學(xué)習(xí)中的重點研究內(nèi)容.針對標(biāo)準支持向量機建模是離線批量訓(xùn)練,計算復(fù)雜性大、訓(xùn)練速度慢的缺點,通過結(jié)合局部加權(quán)學(xué)習(xí)、在線遺忘機制和滾動優(yōu)化策略的思想,提出了一種帶窗的加權(quán)最小二乘支持向量機回歸在線學(xué)習(xí)算法,并應(yīng)

7、用于非線性系統(tǒng)的在線辨識和預(yù)測建模.實驗表明,該方法具有良好的在線學(xué)習(xí)能力. 4.基于最小二乘核回歸的廣義逆系統(tǒng)控制將核機器引入逆系統(tǒng)控制,提出了針對一般非線性可逆系統(tǒng)的線性化和解耦控制策略.在逆系統(tǒng)控制中,廣義逆模型的構(gòu)建是非線性系統(tǒng)解耦控制器設(shè)計的關(guān)鍵所在.我們首先將最小二乘支持向量機(LS-SVM)回歸引入α階逆系統(tǒng)方法,并采用貝葉斯參致優(yōu)化方法快速選取最佳的LS-SVM函數(shù)估計器逼近靜態(tài)逆模型.在此基礎(chǔ)上,針對非線性動態(tài)

8、系統(tǒng)具有模型未知或建模粗糙的特點,進一步提出了一種動態(tài)廣義逆系統(tǒng)結(jié)構(gòu),該結(jié)構(gòu)由靜態(tài)LS-SVM函效估計器和若干線性動態(tài)環(huán)節(jié)組合而成的.通過將此動態(tài)廣義逆系統(tǒng)與原系統(tǒng)復(fù)合,復(fù)雜的高階非線性系統(tǒng)可以解耦成許多偽線性的單輸入單輸出 (SISO) 子系統(tǒng),而且各個偽線性子系統(tǒng)可以按照期望極點進行配置. 5.基于租集的數(shù)據(jù)約簡及與核機器的混雜集成將粗集理論與核機器結(jié)合.互補二者優(yōu)勢,提出了一種基于租集預(yù)處理的隱核分類器混雜系統(tǒng),該方法在改

9、善分類性能的同時可以降低計算復(fù)雜性和減少存貯空間.首先,基于租集中的等價矩陣及其運算性質(zhì),借助于租糙屬性向量樹(RAVT)的巧妙構(gòu)造,我們研究了一種能同時完成屬性約簡、數(shù)據(jù)清洗和規(guī)則提取的快速遞推矩陣(RMC)算法,并用于斂據(jù)約簡和知識提取;其次,將隱核特征映射技術(shù)引入最小二乘支持向量機分類算法,提出了一種新的隱最小二乘核分類器(包括兩類和多類算法,分別稱為HKLSC和MHKLSC); 最后,利用租集對數(shù)據(jù)進行約簡,將冗余或次要