支持向量機(jī)及其在人臉識(shí)別中的應(yīng)用研究.pdf

1、支持向量機(jī)是一種重要的機(jī)器學(xué)習(xí)算法,在模式識(shí)別領(lǐng)域有著廣泛的應(yīng)川.和傳統(tǒng)的基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)算法不同,支持向量機(jī)基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則工作,能在訓(xùn)練誤差和分類器容量之問達(dá)到一個(gè)較好的平衡,因而具有更好的性能.自誕生之日起,支持向量機(jī)就迅速贏得了眾多研究者的青睞,相關(guān)研究小斷增加.但到目前為止,其至少有兩個(gè)問題還未完全解決:參數(shù)選擇和多類支持向量機(jī)的構(gòu)建.前者研究的是如何選擇具有良好泛化性能的分類器,后者研究的是如何使用支持向量

2、機(jī)來處理多類問題.針對這兩個(gè)問題,本文作了三方面研究:兩類支持向量機(jī)的參數(shù)選擇研究、多類支持向量機(jī)的參數(shù)選擇研究以及多類支持向量機(jī)的結(jié)果構(gòu)建研究,研究結(jié)果在多個(gè)國際通用的基準(zhǔn)數(shù)據(jù)集上進(jìn)行了驗(yàn)證. 人臉識(shí)別是模式識(shí)別的一個(gè)重要分支,其研究不儀有助于機(jī)器智能的實(shí)現(xiàn),還能推進(jìn)對人類視覺系統(tǒng)的理解.很多研究表明,使川支持向量機(jī)進(jìn)行人臉識(shí)別能夠獲得很高的識(shí)別率.然而,一個(gè)尷尬的事實(shí)是,鮮有成熟的商業(yè)人臉識(shí)別系統(tǒng)足基于支持向量機(jī)的.為了探索基于支持

3、向量機(jī)的人臉識(shí)別系統(tǒng)在現(xiàn)實(shí)巾的可應(yīng)用性,本文從應(yīng)用的角度較為全面地對一些相關(guān)問題進(jìn)行探討,并使用Visual C++實(shí)現(xiàn)了一個(gè)基于支持的人臉識(shí)別軟件-idTeller. 論文的主要工作和創(chuàng)新點(diǎn)包括: ●提出了兩利于基于VC邊界的支持向量機(jī)參數(shù)選擇算法-固定C算法和VC-CV算法.VC邊界足兩類支持向量機(jī)參數(shù)選擇的一個(gè)理想準(zhǔn)則,但它的一些固有缺點(diǎn)使其應(yīng)用變得困難.本文通過將VC邊界轉(zhuǎn)化為VC指標(biāo),最終把問題歸結(jié)為對最小包圍

4、體的求解,從理論上和計(jì)算上為'VC邊界的使用鋪平了道路.在此基礎(chǔ)之上,本文提出了兩種基于VC邊界的參數(shù)選擇算法-固定C算法和VC-CV算法.在數(shù)個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明,相比交義驗(yàn)證算法,VC-CV算法小儀能獲得性能更好的分類器,而且具有較低的計(jì)算復(fù)雜度. ●使用序貫最小優(yōu)化算法解決了最小包圍體求解問題.最小包圍體求解足計(jì)算VC指標(biāo)的一個(gè)關(guān)鍵步驟,本文使川序貫最小優(yōu)化算法對其求解,并對算法初始化、參數(shù)擇及更新等若十實(shí)現(xiàn)問題進(jìn)行了

5、深入地研究.在多個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明,貫最小優(yōu)化算法能夠快速而準(zhǔn)確地解決最小包圍體求解問題. ●研究了多類支持向量機(jī)參數(shù)選擇的策略問題.與文獻(xiàn)中廣泛采用的All-in-One策略不同,本文所采用的One-in-One策略為每個(gè)兩類分類器單獨(dú)選擇參數(shù),所得到的多類義持向量機(jī)結(jié)構(gòu)靈活,易于擴(kuò)展.我們從理論上和實(shí)驗(yàn)上對All-in-One和One-in-One進(jìn)行了分析比較,指明了兩者各自的優(yōu)缺點(diǎn),為它們在實(shí)際中的應(yīng)用提供參考.·

6、提出了兩種新的多類支持向量機(jī)結(jié)果構(gòu)建算法-NPWC-CC算法和PWC分類器陣列法.通過使用校正分類器,NPWC-CC算法將原來的pairwise probabilities轉(zhuǎn)換為一組新的pairwise probabilities,以提高可靠的局部輸出的信度,降低不可靠局部輸出的信度,從而減少不可靠局部輸出對全局輸出的影響,提高全局輸出的質(zhì)量.PWC分類器陣列法則為問題域中的每個(gè)類別構(gòu)建一個(gè)PWC分類器,每個(gè)PWC分類器由且公由與對應(yīng)類

7、別相關(guān)的兩類分類器組合而成.PWC分類器陣列法不僅有效克服了現(xiàn)有PWC算法的缺點(diǎn),而且成功地將絕大多數(shù)的PWC算法統(tǒng)一到了一起.在數(shù)個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明了NPWC-CC算法和PWC分類器陣列法的有效性. ●提出了一種快速的、具有二叉樹結(jié)構(gòu)的支持向量機(jī)人臉識(shí)別算法-BTBSVM.實(shí)時(shí)性是人臉識(shí)別系統(tǒng)的一個(gè)關(guān)鍵性能.在識(shí)別時(shí),普通多類支持向量機(jī)需要使用所有的兩類分類器進(jìn)行計(jì)算,識(shí)別速度慢,無法達(dá)到實(shí)時(shí)性.通過二叉樹的使用,BTB