基于姿態(tài)和表情的雙模態(tài)情感識(shí)別方法研究.pdf

1、情感識(shí)別是模式識(shí)別領(lǐng)域的一個(gè)重要課題。近年來(lái)，多模態(tài)情感識(shí)別越來(lái)越引起研究者的重視。本文的主要工作是基于姿態(tài)和表情的雙模態(tài)情感識(shí)別方法研究。
　　 本文以FABO數(shù)據(jù)庫(kù)的數(shù)據(jù)為基礎(chǔ)，進(jìn)行了姿態(tài)和表情的單模態(tài)情感識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)中，使用空時(shí)特征向量作為每個(gè)單模態(tài)的情感特征向量，分類器分別使用最近鄰分類器和支持向量機(jī)。本文的實(shí)驗(yàn)中考察了空時(shí)特征向量取不同維數(shù)時(shí)對(duì)實(shí)驗(yàn)結(jié)果的影響，并從中選擇出了分類效果相對(duì)較好的一組特征向量參與融合。

2、r>　　 其次，本文使用典型相關(guān)分析(CCA)方法進(jìn)行融合。為克服實(shí)驗(yàn)中存在的小樣本規(guī)模問(wèn)題，采用PCA+CCA的方法，即先對(duì)樣本使用主成分分析(PCA)方法進(jìn)行降維，然后再使用CCA方法進(jìn)行融合。
　　 接下來(lái)，本文使用基于核方法的核典型相關(guān)分析(KCCA)方法進(jìn)行了融合實(shí)驗(yàn)。實(shí)驗(yàn)中使用KCCA方法直接對(duì)兩組單模態(tài)的原始向量進(jìn)行融合。同時(shí)，還考察了選用不同核函數(shù)對(duì)融合結(jié)果的影響。為了進(jìn)一步比較KCCA和CCA方法、直接融合方

3、法融合效果的差異，本文進(jìn)行了相同實(shí)驗(yàn)數(shù)據(jù)下這幾種融合方法的性能比較，即采用PCA+KCCA的方法。
　　 最后，本文使用稀疏典型相關(guān)分析(SCCA)對(duì)降維后的兩組單模態(tài)的特征向量進(jìn)行融合。降維分別使用PCA和核主成分分析(KPCA)方法。
　　 實(shí)驗(yàn)結(jié)果表明，使用CCA方法進(jìn)行融合并沒(méi)有得到滿意的效果，與直接融合方法相比沒(méi)有明顯的優(yōu)勢(shì)。對(duì)于KCCA方法，在本文中使用x2核函數(shù)比高斯核函數(shù)的效果更好。使用KCCA方法進(jìn)行融