支持向量機(jī)的一般化能力與訓(xùn)練樣本關(guān)系的研究.pdf

1、本文從支持向量機(jī)經(jīng)驗(yàn)風(fēng)險(xiǎn)的利用、支持向量的合并約簡(jiǎn)以及訓(xùn)練樣本的精簡(jiǎn)三方面進(jìn)行論述。利用經(jīng)驗(yàn)風(fēng)險(xiǎn)以提高分類器的泛化能力，對(duì)含有重復(fù)矛盾支持向量的合并約簡(jiǎn)以減少支持向量的個(gè)數(shù)并提高測(cè)試速度，對(duì)訓(xùn)練樣本精簡(jiǎn)的目的是達(dá)到在泛化能力幾乎沒有下降的情況下提高支持向量機(jī)的訓(xùn)練速度并減少支持向量的個(gè)數(shù)。 訓(xùn)練支持向量機(jī)的過程之前往往要進(jìn)行參數(shù)搜索以找到具有最優(yōu)泛化能力的訓(xùn)練參數(shù)。在搜索過程中，有些參數(shù)使得經(jīng)驗(yàn)風(fēng)險(xiǎn)幾乎為零、泛化能力最好、支持向

2、量很多，我們往往采用這些參數(shù)作為訓(xùn)練參數(shù)。有些參數(shù)使得經(jīng)驗(yàn)風(fēng)險(xiǎn)較大、泛化能力比最好稍差、支持向量很少。我們的實(shí)驗(yàn)表明利用別的分類器結(jié)合后者的經(jīng)驗(yàn)風(fēng)險(xiǎn)可以使后者的泛化能力比前者最好的泛化能力還要好。 有些訓(xùn)練樣本中含有重復(fù)矛盾的樣本，訓(xùn)練支持向量機(jī)的結(jié)果使得支持向量中仍然含有重復(fù)矛盾的支持向量，通過我們的合并約簡(jiǎn)算法可以減少支持向量的個(gè)數(shù)，減少的程度與樣本重復(fù)的程度有關(guān)。樣本重復(fù)度高，減少的比例就大，反之減少的比例就小。