支持向量機(jī)的理論與算法研究

1、北京郵電大學(xué)博士學(xué)位論文支持向量機(jī)的理論與算法研究姓名：王國(guó)勝申請(qǐng)學(xué)位級(jí)別：博士專業(yè)：信號(hào)與信息處理指導(dǎo)教師：鐘義信20070601北京郵電大學(xué)博上論文 摘要基于規(guī)則的方法?；谝?guī)則的方法，優(yōu)點(diǎn)是簡(jiǎn)單、效率高，而且發(fā)現(xiàn)新規(guī)則后可以方便地加入。但規(guī)則總會(huì)有例外，規(guī)則過多以后，需要權(quán)衡這些規(guī)則，保持其一致性，這是很困難的。另外，基于規(guī)則的方法對(duì)領(lǐng)域的依賴性強(qiáng)，可移植性差。基于統(tǒng)計(jì)的方法需要有合適的方法產(chǎn)生大量廉價(jià)的訓(xùn)練數(shù)據(jù)，計(jì)算復(fù)雜度高，但

2、它與應(yīng)用領(lǐng)域無關(guān)，可移植性好。2 0 世紀(jì)6 0 年代中期至8 0 年代中期，由于人工智能的研究重點(diǎn)是符號(hào)系統(tǒng)和基于知識(shí)的方法，機(jī)器學(xué)習(xí)以基于規(guī)則的方法為主。2 0 世紀(jì)8 0年代后期，隨著神經(jīng)網(wǎng)絡(luò)研究重新崛起及其成功應(yīng)用，基于統(tǒng)計(jì)的學(xué)習(xí)方法迅速發(fā)展。特別是最近十幾年，互聯(lián)網(wǎng)的普及和計(jì)算機(jī)在各個(gè)領(lǐng)域的應(yīng)用，大量數(shù)據(jù)潮水般涌來，如何從中發(fā)現(xiàn)隱含的知識(shí)，對(duì)機(jī)器學(xué)習(xí)提出了重大挑戰(zhàn)，也給基于統(tǒng)計(jì)的學(xué)習(xí)方法帶來新的發(fā)展機(jī)遇。在眾多基于統(tǒng)計(jì)的學(xué)習(xí)方

3、法中，支持向量機(jī)( S u p p o r t V e c t o r M a c h i n e ，簡(jiǎn)稱S V M )是個(gè)新秀，但因其深厚的理論背景和出色的實(shí)際表現(xiàn)備受人們青睞。支持向量機(jī)是2 0 世紀(jì)9 0 年代中期出現(xiàn)的機(jī)器學(xué)習(xí)技術(shù)，是近年來機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。這項(xiàng)技術(shù)從提出到現(xiàn)在不過十年時(shí)間，但其研究進(jìn)展非常之快、之大。它有堅(jiān)實(shí)的理論基礎(chǔ)，應(yīng)用上也是有口皆碑，在手寫體數(shù)字識(shí)別、文本分類等具體問題上創(chuàng)造和保持著目前的最好記錄。

4、這項(xiàng)既經(jīng)得起理論推敲又經(jīng)得起實(shí)踐檢驗(yàn)的技術(shù)，是傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)不能比的，它的發(fā)展?jié)摿κ橇钊斯奈璧??；谶@樣的認(rèn)識(shí)，我選擇了這一研究領(lǐng)域。支持向量機(jī)的理論基礎(chǔ)是統(tǒng)計(jì)學(xué)習(xí)理論，該理論的研究始于2 0 世紀(jì)6 0 年代末。此后近2 0 年時(shí)間里，前蘇聯(lián)學(xué)者V a p n i k 做了大量開創(chuàng)性、奠基性的工作，提出了“結(jié)構(gòu)風(fēng)險(xiǎn)最小化“ 原理。這個(gè)時(shí)期的工作主要是純理論性的，沒有引起人們重視。1 9 9 5 年，C o r t s & V