統(tǒng)計(jì)學(xué)習(xí)理論及SVM算法研究.pdf

1、中國科學(xué)院自動化研究所博士學(xué)位論文統(tǒng)計(jì)學(xué)習(xí)理論及SVM算法研究姓名：吳高巍申請學(xué)位級別：博士專業(yè)：模式識別與智能系統(tǒng)指導(dǎo)教師：王玨2003.7.1英文摘要A b s t r a c tS t a t i s t i c a ll e a r n i n gt h e o r y ( S L T ) i st h em i l e s t o n ei ns t a t i s t i c a lc o n c l u s i o nI

2、tn l a k e sm a c h i n e l e a r n i n gat r u es c i e n c e ，a n dp r o v i d e sas t r o n gg r o u n d w o r kf o rd e s i g n i n gl e a r n i n ga l g o r i t h mt h e o r e t i c a l l y ．I n S L T ，V a p n i ks

3、e t o u tf r o mE m p i r i c a lR i s kM i n i m i z a t i o nt o c h a n g et h es t a t i s t i c a lb a s ei nm a c h i n e l e a r n i n g ．H ei n t r o d u c e dt h ei d e ao fp r o b a b l ya p p r o x —i m a t e

4、l yc o r r e c t i n t om a c h i n el e a r n i n g ，a n dp r o v e dt h el a wo fg r e a tn u m b e r si nf u n c t i o n a ls p a c e N o n a s y m p t o t i c t h e o r y W a s f u r t h e rp r e s e n t e d ，a n dt

5、h ei n d u c t i v ep r i n c i p l eo fs i n a i ls a m p l es i z ew a s e d u c e d ．T h e m a i nc o n t e n to ft h i sp a p e r i s t h ef o l l o w i n g ．W e s t a r t e dw i t ht h es t a t i s t i c a lb a s i

6、so fS L T ．C o m p a r i n gw i t hc l a s s i c a l I ) a t —t e r nr e c o g n i t i o n ，w ed i s c o v e r e dt h a tt h es t a t i s t i c a li d e a si nm a c h i n e l e a r n i n gw a sd e v e l o p i n g ，ie ．f

7、r o mt h el a wo fg r e a tn u m b e r s i ns t a t i s t i c st ot h a ti nf u n c t i o n a ls p a c e ，f r o mt h ea s s u m p t i o nw i t hl a r g es a m p l es i z et ot h et h e o r yo fs m a I Is a m p t PS i z e

8、B a s e do n t h et h e o r yo f s m a l l s a m p l e s i z e ，w ea n a l y z e dt h ea p p m a c h o fS V M8 n dB o o s t i n g ，t h e nac r i t e r i o nf o rd e s i g n i n gs t a t i s t i c a l l e a r n i n ga 如r

9、i t h m w ．博p r o p o s e d ·F r o mt h ec r i t e r i o n ，w ed e v i s e daP o s t e r i o rP r o b a b i l i t yS V M f Ⅲa ．：u n c e r t a i nc l a s s i f i c a t i o n ．K e r n e lt e c h n i q u e sp l a ya ni

10、 m p o r t a n tr o l ei nS V M ．F r o mt h ev i e w p o i n to fr 8 8 t “。。m a p p i n g ，w e a n a l y z e d k e r n e l t e c h n i q u e s ，a n d a p p l i e dk e r n e l t o ( ) c } l ∽s u c c e s s f u la l g o r i

11、 t h m sA tl a s t ，w ed i s c u s s e dt h ea l g o r i t h ma v a i l a b l et ol a r g e ．s c a l ed a t a s e t sK 。y w o r d - S t a t i s t i c a lL e a r n i n gT h e o r y ，E m p i r i e a lR i s kM i n i m i z a