孿生支持向量機(jī)關(guān)鍵問題的研究.pdf

1、孿生支持向量機(jī)(Twin Support Vector Machines, TWSVM)是在支持向量機(jī)(Support Vector Machines, SVM)的基礎(chǔ)上提出的一種新的機(jī)器學(xué)習(xí)方法。對于分類問題,TWSVM要尋找的是一對非平行的分類超平面;對于回歸問題,TWSVM要在訓(xùn)練數(shù)據(jù)點(diǎn)兩側(cè)產(chǎn)生一對不平行的函數(shù),分別確定回歸函數(shù)的?不敏感上、下界。TWSVM在形式上類似于 SVM,但其計(jì)算效率是 SVM的4倍。鑒于TWSVM優(yōu)秀的

2、學(xué)習(xí)性能,目前已成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。然而,由于TWSVM是機(jī)器學(xué)習(xí)領(lǐng)域中相對較新的理論,它在很多方面尚不成熟、不完善,需要進(jìn)一步地研究和改進(jìn)。其中,關(guān)于它的學(xué)習(xí)算法的研究是該理論的重點(diǎn)和難點(diǎn)之一。本文主要從提升泛化性能、提高學(xué)習(xí)速度以及增強(qiáng)學(xué)習(xí)過程的健壯性等幾個(gè)方面對TWSVM進(jìn)行研究。具體的研究內(nèi)容如下:
　　1.對光滑孿生支持向量機(jī)的新方法進(jìn)行研究。針對目前光滑孿生支持向量分類機(jī)中采用的Sigmoid光滑函數(shù)逼近精度低

3、的問題,采用具有更強(qiáng)逼近能力的Chen-Harker-Kanzow-Smale(CHKS)函數(shù)作為光滑函數(shù),提出了光滑CHKS孿生支持向量分類機(jī)模型。其次,針對光滑孿生支持向量分類機(jī)沒有考慮到樣本位置對算法性能影響的問題,本文設(shè)計(jì)了一種隸屬度函數(shù),根據(jù)樣本位置的不同賦予其不同的權(quán)重,提出了加權(quán)光滑 CHKS孿生支持向量分類機(jī)模型,并從理論上證明其收斂性。最后,將所提算法推廣到回歸問題中,并采用離散粒子群優(yōu)化(Particle Swarm

4、 Optimization, PSO)算法作為同時(shí)優(yōu)化算法參數(shù)和特征選擇的方法,提出了基于離散PSO模型選擇的光滑CHKS孿生支持向量回歸機(jī),從理論上證明其任意階光滑性和收斂性。
　　2.對孿生支持向量機(jī)模型的無約束不可微近似求解方法進(jìn)行研究。根據(jù)優(yōu)化理論中的Karush-Kuhn-Tucker(KKT)互補(bǔ)條件,建立了孿生支持向量分類機(jī)的無約束不可微優(yōu)化模型,并采用可以直接求解不可微優(yōu)化問題的自適應(yīng)調(diào)節(jié)最大熵函數(shù)法作為所提模型的

5、求解方法。該方法在參數(shù)值較小的情況下就可逼近問題的最優(yōu)解,克服了傳統(tǒng)最大熵函數(shù)法需取很大的參數(shù)值才能逼近最優(yōu)解,并且有可能導(dǎo)致數(shù)值溢出的問題。最后,將此算法推廣到回歸問題,提出了基于自適應(yīng)調(diào)節(jié)最大熵函數(shù)法的孿生支持向量回歸機(jī)模型。
　　3.對最小二乘孿生支持向量回歸機(jī)及其特征選擇算法進(jìn)行研究。為了提高孿生支持向量回歸機(jī)(Twin Support Vector Regression, TSVR)的計(jì)算效率,引入最小二乘思想,將TSV

6、R二次規(guī)劃問題的不等式約束條件修正為等式約束條件,并將其代入目標(biāo)函數(shù),從而將 TSVR的二次規(guī)劃問題轉(zhuǎn)化成為兩個(gè)線性方程組問題,提出了最小二乘孿生支持向量回歸機(jī)學(xué)習(xí)算法(Least Square TSVR,LSTSVR)。理論分析表明線性情況下的 LSTSVR的計(jì)算復(fù)雜度僅與樣本的維數(shù)有關(guān),因此,LSTSVR的提出為大樣本問題提供了一種有效的求解方法。在此基礎(chǔ)上,為了提高LSTSVR求解高維問題的效率,本文提出了一種LSTSVR特征選擇

7、算法。首先,用1范數(shù)度量代替LSTSVR的2范數(shù)度量,可將LSTSVR中的兩個(gè)線性方程組問題轉(zhuǎn)化為兩個(gè)線性規(guī)劃問題。其次,通過具有快速收斂能力的牛頓法求解線性規(guī)劃對偶問題中的外罰問題,原問題可以歸結(jié)為求解線性方程系統(tǒng)。除了保留 LSTSVR原有的優(yōu)勢,還具有速度快以及非常稀疏性的優(yōu)勢。對線性問題而言,意味著該方法可以自動(dòng)選擇樣本的特征,從而達(dá)到降維的目的。
　　4.對最小二乘孿生參數(shù)化不敏感支持向量回歸機(jī)進(jìn)行研究。首先,引入最小二

8、乘方法,將孿生參數(shù)化不敏感支持向量回歸機(jī)(Twin Parametric Insensitive Support Vector Regression, TPISVR)的兩個(gè)二次規(guī)劃問題轉(zhuǎn)化為兩個(gè)線性方程組問題,提出最小二乘孿生參數(shù)化不敏感支持向量回歸機(jī)(Least Square TPISVR, LSTPISVR),從理論上分析了LSTPISVR的計(jì)算復(fù)雜性。其次,鑒于LSTPISVR的參數(shù)較多的問題,提出一種具有快速全局搜索能力的混沌布