非平行超平面分類器算法研究.pdf

1、非平行超平面分類器（nonparallel hyperplane classifier，NHC）分類方法是在傳統(tǒng)支持向量機(jī)（support vector machine，SVM）基礎(chǔ)上發(fā)展起來(lái)的一類新的機(jī)器學(xué)習(xí)方法。對(duì)于二分類問(wèn)題，傳統(tǒng)SVM依據(jù)大間隔準(zhǔn)則尋找單一的分類超平面，而NHC分類方法通常要為每類樣本尋找一個(gè)最佳決策超平面，即一對(duì)非平行的分類超平面。在線性模式下，NHC分類方法對(duì)異或（XOR）問(wèn)題有著顯著的分類能力。鑒于NHC分

2、類方法的優(yōu)勢(shì)，目前已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。然而，NHC分類方法是一類比較新的機(jī)器學(xué)習(xí)方法，在諸多方面尚不成熟、不完善，需要進(jìn)一步的研究和改進(jìn)。本文主要從提升分類性能、提高學(xué)習(xí)速度等方面對(duì)現(xiàn)有的NHC分類方法進(jìn)行了深入系統(tǒng)地研究。具體研究?jī)?nèi)容如下：
　　1.對(duì)局部保持孿生支持向量機(jī)進(jìn)行研究。針對(duì)現(xiàn)有NHC分類方法中沒(méi)有充分考慮訓(xùn)練樣本集內(nèi)在局部幾何結(jié)構(gòu)及其潛藏的分類信息，從而可能導(dǎo)致算法分類性能不佳的問(wèn)題，將局部保持投影（l

3、ocality preserving projections，LPP）的思想直接引入到NHC分類方法中，提出一種基于局部信息保持的孿生支持向量機(jī)（locality preserving twin SVM，LPTSVM）。為了能夠有效降低算法二次規(guī)劃求解的時(shí)間復(fù)雜度，LPTSVM通過(guò)類間近鄰圖選取少量的邊界樣本來(lái)構(gòu)造優(yōu)化問(wèn)題的約束條件。對(duì)于LPTSVM算法中可能出現(xiàn)的奇異性問(wèn)題，從理論上給出了一種基于主成分分析（principal com

4、ponent analysis，PCA）的降維方法。
　　2.對(duì)非線性最小二乘投影孿生支持向量機(jī)及相應(yīng)的遞歸學(xué)習(xí)算法進(jìn)行研究。針對(duì)線性最小二乘投影孿生支持向量機(jī)（least squares projection twin SVM，LSPTSVM）不能有效處理非線性分類情況的問(wèn)題，采用核映射技術(shù)將原空間中的訓(xùn)練樣本映射到高維特征空間，在此基礎(chǔ)上提出一種非線性最小二乘投影孿生支持向量機(jī)（kernel based LSPTSVM，KLS

5、PTSVM）。為進(jìn)一步提高KLSPTSVM算法的非線性分類性能，同樣采用核映射技術(shù)將線性模式下的遞歸學(xué)習(xí)算法也推廣到非線性模式并與KLSPTSVM分類算法相結(jié)合，提出非線性模式下的遞歸KLSPTSVM分類方法。
　　3.對(duì)魯棒的局部加權(quán)孿生支持向量機(jī)進(jìn)行研究。針對(duì)局部加權(quán)孿生支持向量機(jī)（weighted twin SVM with local information，WLTSVM）算法不能充分刻畫(huà)類內(nèi)樣本之間相似性，訓(xùn)練效率偏低和

6、對(duì)噪聲敏感的問(wèn)題，提出一種魯棒的局部加權(quán)孿生支持向量機(jī)（robust WLTSVM，RWLTSVM）。RWLTSVM選用高斯核函數(shù)定義類內(nèi)近鄰圖的權(quán)值矩陣并在此基礎(chǔ)上生成樣本權(quán)重，能夠更好的刻畫(huà)類內(nèi)樣本對(duì)決策超平面的貢獻(xiàn)程度。為了降低優(yōu)化問(wèn)題求解時(shí)間復(fù)雜度，RWLTSVM將WLTSVM算法中不等式約束改成等式約束并通過(guò)求解方程組方法獲得問(wèn)題解析解。另外，RWLTSVM還在等式約束條件中考慮了相反類樣本的類內(nèi)權(quán)重，從而能夠更好的免疫于噪聲

7、問(wèn)題。
　　4.對(duì)加權(quán)投影孿生支持向量機(jī)及其相應(yīng)的最小二乘版算法進(jìn)行研究。針對(duì)投影孿生支持向量機(jī)（projection twin SVM，PTSVM）在優(yōu)化問(wèn)題中沒(méi)有考慮類內(nèi)訓(xùn)練樣本之間相關(guān)性的問(wèn)題，提出一種加權(quán)投影孿生支持向量機(jī)（weighted PTSVM，WPTSVM）。WPTSVM通過(guò)在類內(nèi)構(gòu)造近鄰圖并在此基礎(chǔ)上賦予樣本特定的權(quán)重，以此來(lái)突出樣本對(duì)決策面的貢獻(xiàn)程度，進(jìn)而改善算法的分類性能。此外，WPTSVM在優(yōu)化問(wèn)題的不等