支持向量機(jī)組合算法.pdf

1、學(xué)習(xí)機(jī)器組合算法的研究越來(lái)越受到關(guān)注．有大量的實(shí)驗(yàn)表明把個(gè)體學(xué)習(xí)機(jī)器組合起來(lái)可以提高推廣能力，但仍有許多理論問(wèn)題需要解決． 支持向量機(jī)(SVM)是近十年來(lái)出現(xiàn)的比較流行的模式識(shí)別方法，它較好地執(zhí)行了統(tǒng)計(jì)學(xué)習(xí)中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，是統(tǒng)計(jì)學(xué)習(xí)理論的成功實(shí)現(xiàn)．但在某些情況下，運(yùn)用支持向量機(jī)算法常不能達(dá)到理論期望的水平． 本文嘗試把支持向量機(jī)和組合算法相結(jié)合，構(gòu)造一種新的算法，具有兩者的優(yōu)點(diǎn)，彌補(bǔ)支持向量機(jī)的不足．這種新的算法

2、稱為支持向量機(jī)組合算法． 近幾年來(lái)由于經(jīng)驗(yàn)過(guò)程理論在學(xué)習(xí)理論中的成功應(yīng)用，產(chǎn)生了穩(wěn)定性這樣一個(gè)可以用來(lái)界定推廣性的量，它是依賴于數(shù)據(jù)，并且被證明了用它作為所選函數(shù)集復(fù)雜性的懲罰項(xiàng)較其他量有優(yōu)勢(shì)．本文在上述基礎(chǔ)上對(duì)支持向量機(jī)組合算法研究了其穩(wěn)定性及推廣能力． 論文主要內(nèi)容安排如下： 第一部分：分析學(xué)習(xí)算法的一般理論及相關(guān)問(wèn)題，綜述本文所做研究工作的步驟和成果． 第二部分：首先介紹了組合算法的思想和方法，以及

3、幾種常用的組合算法形式，包括Boosting算法，Bagging算法．然后介紹了支持向量機(jī)的思想和方法，以及幾種常用的SVM形式，包括錯(cuò)分類的SVM，α-范數(shù)軟間隔范數(shù)分類的SVM．最后提供了關(guān)于穩(wěn)定性和推廣性的定理和結(jié)論，作為研究工作的理論工具． 第三部分：把支持向量機(jī)和組合算法相結(jié)合，構(gòu)造支持向量機(jī)組合算法．運(yùn)用留一誤差和穩(wěn)定性給出其推廣性的界． 第四部分：運(yùn)用支持向量機(jī)組合算法解決不平衡數(shù)據(jù)集問(wèn)題． 最后一