支持向量機(jī)在機(jī)器學(xué)習(xí)中的應(yīng)用研究.pdf

1、近十年來(lái)，基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)方法逐漸成為機(jī)器學(xué)習(xí)的重要研究方向。與傳統(tǒng)的基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的學(xué)習(xí)方法不同，支持向量機(jī)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化，能在訓(xùn)練誤差和分類(lèi)器容量之間達(dá)到一個(gè)較好的平衡，它具有全局最優(yōu)、適應(yīng)性強(qiáng)、推廣能力強(qiáng)等優(yōu)點(diǎn)。但是直到目前為止，支持向量機(jī)方法還存在一些問(wèn)題，例如訓(xùn)練時(shí)間過(guò)長(zhǎng)、核參數(shù)的選擇等，成為限制支持向量機(jī)應(yīng)用的瓶頸。本文的研究主要圍繞以上兩個(gè)問(wèn)題展開(kāi)，研究結(jié)果在多個(gè)國(guó)際通用的基準(zhǔn)數(shù)據(jù)集上進(jìn)行驗(yàn)證。主要

2、成果如下： 1) 系統(tǒng)地研究了支持向量機(jī)的訓(xùn)練方法。目前支持向量機(jī)的訓(xùn)練算法是以序貫最小最優(yōu)化(SMO)為代表的，其中工作集的選擇是實(shí)現(xiàn)SMO算法的關(guān)鍵。本文對(duì)基于Zoutendijk最大下降方向法和函數(shù)逼近的工作集選擇方式進(jìn)行了總結(jié)和整理，并對(duì)這種選擇策略重新進(jìn)行了嚴(yán)格的數(shù)學(xué)推導(dǎo)。研究指出，當(dāng)二次規(guī)劃問(wèn)題的Gram矩陣在非正定的情況下，目前存在的工作集選擇算法存在某些不足。 2) 對(duì)于大規(guī)模訓(xùn)練集的縮減研究。支持向量機(jī)

3、在小樣本情況下具有優(yōu)于別的機(jī)器學(xué)習(xí)算法的性能，但并不意味著支持向量機(jī)只限于應(yīng)用在小樣本情況。現(xiàn)實(shí)中的問(wèn)題大多具有大規(guī)模的樣本，雖然目前有了以SMO為代表的快速訓(xùn)練算法，但對(duì)于大規(guī)模訓(xùn)練集仍然存在訓(xùn)練時(shí)間過(guò)長(zhǎng)的缺點(diǎn)，不能滿(mǎn)足實(shí)時(shí)性的要求。本文根據(jù)支持向量的幾何分布，提出了在原輸入空間和高維映射空間中預(yù)選支持向量的兩種方法。原輸入空間預(yù)選支持向量方法是受啟發(fā)于最近鄰規(guī)則，通過(guò)與支持向量的幾何分布結(jié)合，使用Delaunay三角網(wǎng)絡(luò)尋求包含支持

4、向量的邊界集的原理。受聚類(lèi)方法的啟發(fā)，基于樣本類(lèi)別質(zhì)心的方法實(shí)現(xiàn)了高維特征空間支持向量的預(yù)選。實(shí)驗(yàn)證明這兩種支持向量預(yù)選策略是有效的，在大幅縮減訓(xùn)練時(shí)間的同時(shí)基本不損失SVM的推廣能力和預(yù)測(cè)性能。 3) 對(duì)支持向量機(jī)模型選擇的研究。支持向量機(jī)通過(guò)核函數(shù)將樣本從輸入空間映射到高維特征空間(Hilbert空間)，從而實(shí)現(xiàn)在特征空間中尋求線性判別超平面。但是，不同的核對(duì)應(yīng)著不同的特征空間，而支持向量機(jī)的訓(xùn)練結(jié)果在不同的核映射下往往有不

5、同的效果。本文通過(guò)對(duì)像集線性可分程度和模型復(fù)雜程度的估計(jì)，尋找可以使學(xué)習(xí)機(jī)器具有良好推廣能力的特征空間，并以此為標(biāo)準(zhǔn)實(shí)現(xiàn)核的選擇。特征空間確定之后，分析懲罰因子與間隔寬度之間的關(guān)系，通過(guò)間隔寬度實(shí)現(xiàn)對(duì)懲罰因子的選擇。本文的模型選擇方法并不尋求核函數(shù)、懲罰因子與學(xué)習(xí)機(jī)器推廣能力之間的解析表達(dá)式，而是以間接的方法估計(jì)參數(shù)對(duì)學(xué)習(xí)機(jī)器推廣能力的影響，指導(dǎo)模型的選擇。 4) 對(duì)機(jī)器學(xué)習(xí)的實(shí)際應(yīng)用的研究。本文對(duì)機(jī)器學(xué)習(xí)的重要問(wèn)題——人臉識(shí)別

6、進(jìn)行了研究，提出了一種基于關(guān)鍵部件的人臉識(shí)別方法。由于一對(duì)余多類(lèi)分類(lèi)算法缺乏理論上的依據(jù)，本文以后驗(yàn)概率作為支持向量機(jī)的輸出，實(shí)現(xiàn)了以相似度為判別標(biāo)準(zhǔn)的多類(lèi)分類(lèi)算法。對(duì)ORL和YALE人臉圖像數(shù)據(jù)庫(kù)進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明，該方法具有對(duì)表情、姿態(tài)以及角度的變化具有較好的魯棒性。本文研究了SVM在金融領(lǐng)域的一個(gè)典型應(yīng)用一一個(gè)人信用評(píng)估，主要探討了基于SVM的特征選擇和提取方法(遺傳算法和主分量分析法)的實(shí)際應(yīng)用效果。實(shí)證分析表明，小樣本信用