多模態(tài)融合的情感識別研究.pdf

1、情感是人們在溝通交流的過程中傳遞的重要信息,情感狀態(tài)的變化影響著人們的感知和決策。情感識別是模式識別的重要研究領(lǐng)域,它將情感維度引入人機(jī)交互。情感表達(dá)的模態(tài)包括面部表情、語音、姿勢、生理信號、文字等,情感識別本質(zhì)上是一個(gè)多模態(tài)融合的問題。
　　提出一種多模態(tài)融合的情感識別算法,從面部圖像序列和語音信號中提取表情和語音特征,基于隱馬爾可夫模型和多層感知器設(shè)計(jì)融合表情和語音模態(tài)的情感分類器。建立面部表情圖像的主動(dòng)外觀模型,實(shí)現(xiàn)面部特征

2、點(diǎn)的定位和跟蹤;根據(jù)面部特征點(diǎn)的位移,計(jì)算面部動(dòng)畫參數(shù)作為表情特征。對語音信號作時(shí)域、和頻域分析,提取各幀的短時(shí)平均能量、基音頻率和共振峰作為語音特征。利用提取的表情和語音特征,采用Viterbi算法訓(xùn)練各種表情和語音情感的隱馬爾可夫模型;利用特征向量關(guān)于各隱馬爾可夫模型的條件概率,采用反向傳播學(xué)習(xí)算法訓(xùn)練多層感知器。實(shí)驗(yàn)結(jié)果表明,融合表情和語音的情感識別算法在識別樣本中的高興、悲傷、憤怒、厭惡等情感狀態(tài)時(shí)具有較高的準(zhǔn)確率。