基于姿態(tài)和表情的雙模態(tài)情感識(shí)別方法研究

1、東南大學(xué)碩士學(xué)位論文基于姿態(tài)和表情的雙模態(tài)情感識(shí)別方法研究姓名：邱偉申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：生物醫(yī)學(xué)工程；學(xué)習(xí)科學(xué)指導(dǎo)教師：鄭文明20110509A b s t r a c tA b s t r a c tA S t u d yo n t h eM e t h o d s o f B i m o d a l E m o t i o n R e c o g n i t i o nB a s e d o n B o d y G e s t

2、u r ea n d F a c i a l E x p r e s s i o nC a n d i d a t e ：Q i u W e i ，S u p e r v i s o r ：P r o f ．Z h e n g W e n m i n gR e s e a r c h C e n t e r f o rL e a r n i n g S c i e n c e ，S o u t h e a s tU n i v e r

3、s i t yE m o t i o nr e c o g n i t i o ni s a ni m p o r t a n tt o p i ci nt h ef i e l d o f p a t t e r nr e c o g n i t i o n ．R e c e n t l y ，m u l t i m o d a le m o t i o nr e c o g n i t i o nh a sd r a w ni n

4、c r e a s i n ga t t e n t i o no f r e s e a r c h e r s ．1 ' 1 1 cw o r k o ft h i s p a p e rm a i n l yf o c u s e so nt h em e t h o d so fb i m o d a le m o t i o nr e c o g n i t i o nb a s e do nb o d yg e s

5、t u r e a n d f a c i a le x p r e s s i o n ．F i r s t , t h ee x p e r i m e n to f m o n o m o d a l e m o t i o n r e c o g n i t i o ni s c o n d u c t e d o n t h ed a t af r o mt h eF A B O d a t a b a s e ．1 f l

6、l eS p a t i o —T e m p o r a lf e a t u r ei se x t r a c t e da st h ee m o t i o n f e a t u r ev e c t o rf o rb o d yg e s t u r e a n d f a c i a l e x p r e s s i o n r e s p e c t i v e l y ．1 1 1 e n e a r e s t

7、n e i g h b o r c l a s s i f i e r a n ds u p p o r t v e c t o r m a c h i n e s a r e u s e d a s c l a s s i f i e r s ，r e s p e e t i r e l y ．T I l i S e x p e r i m e n t a l s oi n v e s t i g a t e st h e i n f

8、 l u e n c eo f t h ed i m e n s i o n o f f e a t u r ev e c t o r , w h e n i tt a k e sd i f f e r e n tv a l u e s ．Ap a i ro ff e a t u r e s w i t h r e l a t i v e l y g o o dc l a s s i f i c a t i o n r e s u l

9、t s i s c h o s e n t ot a k e p a r ti n t h ef o l l o w i n g f u s i o n p r o c e s s ．S e c o n d l y ，t h e c a n o n i c a lc o r r e l a t i o n a n a l y s i s ( C C A ) a l g o r i t h mi s u s e d f o r t h e

10、 f u s i o ne x p e r i m e n t ．T oo v e r c o m et h es m a l ls a m p l e s i z ep r o b l e m ．t h em e t h o dP C A + C C A i s u s e dh e r e ．T h e d i m e n s i o no f f e a t u r ev e c t o r i sr e d u c e d b

11、y P C A m e t h o d b e f o r e t h ef u s i o n s t a g e ．1 H r d l y ，t h ek e r n e l c a n o n i c a l c o r r e l a t i o na n a l y s i s ( K C C A ) m e t h o db a s e d o nk e r n e lm e t h o di s u s e df o rt

12、 h ef u s i o n e x p e r i m e n t ．T l l eK C C A m e t h o d i s u s e dd i r e c t l yt o f u s et h eo r i g i n a l f e a t u r e v e c t o r s ．A l s o ，t h e e x p e r i m e n t h e r e t e s t s t h er e s u l t

13、 s o f d i f f e r e n t k e r n e lf u n c t i o n sc h o s e nf o rK C C A ．T of l L r t h e r c o m p a r et h ep e r f o r m a n c eo fK C C A m e t h o dw i t hC C A m e t h o d a n dd i r e c tf u s i o nm e t h o

14、d ．a(chǎn) n o t h e re x p e r i m e n t i sc o n d u c t e d h e r eu n d e r t h es a m ec o n d i t i o i r i s ．i ?e P C A + K C C A m e t h o d i sa d o p t e d h e r e ．F i n a l l y ，t h e s p a r s ec a n o n i c a lc

15、 o r r e l a t i o na n a l y s i s ( S C C A ) m e t h o di s u s e dt o f u s et h ef e a t u r ev e c t o r s a f t e r d i m e n s i o n r e d u c t i o n ( b yP C A a n d K P C A ，r e s p e c t i v e l y l ．E x p e

16、r i m e n t a lr e s u l t ss h o w t h a tt h eC C A m e t h o dd o e sn o tg e ts a t i s f a c t o r yr e s u l t ，a n di th a sn oo b v i o u sa d v a n t a g ec o m p a r e dw i t ht h ed i r e c tf u s i o nm e t h

17、 o d ．F o rt h eK C C A m e t h o d ，t h e 佇k e r n e lf u n c t i o na c h i e v e sb e t t e rp e r f o r m a n c e t h a n t h eG a u s s i a nk e r n e lf u n c t i o n i n t h i sP a D e r ．T h eK C C A m e t h o di

18、 m p r o v e s t h em o n o m o d a l r e s u l t a f t e rf u s i o n ，a n do u t p e r f o r m st h eC C Am e t h o d a n dt h e d i r e c t f u s i o n m e t h o d ．T h er e s u l t o ft h e e x p e r i m e n t s p r

19、o v e s t h es u p e r i o r i t yo f t h eK C C A m e t h o d ．T h eK P C A + S C C A m e t h o d g e t sa b e t t e rr e s u l t ．Ⅱl eS C C Am e t h o d a l s oi m p r o v e st h em o n o m o d a l r e s u l ta f t e r

20、 f u s i o n ，a n do u t p e r f o r m st h eC C A m e t h o d ．T h e r e s u l ta l s os h o w st h eg o o dp e r f o r m a n c e o f S C C A ．K e y w o r d s ：B i m o d a l E m o t i o n R e c o g n i t i o n , S p a t