基于面部表情和生理信號的雙模態(tài)情感識別研究.pdf

1、本文通過設(shè)計(jì)情感誘發(fā)實(shí)驗(yàn)，建立了一個(gè)基于面部表情和生理信號的雙模態(tài)情感數(shù)據(jù)庫，并在該數(shù)據(jù)庫上進(jìn)行面部表情與生理信號的雙模態(tài)情感識別研究。在此基礎(chǔ)上總結(jié)了現(xiàn)有的多類模態(tài)特征提取方法、特征選擇手段以及特征降維方法，采用多種分類算法對雙模態(tài)情感特征進(jìn)行分類。主要研究內(nèi)容可以分為以下幾個(gè)部分:
　　1.利用BIOPAC MP150生理信號采集儀、Kinect for Windows體感設(shè)備等儀器，通過視頻誘發(fā)情感的實(shí)驗(yàn)，采集了一個(gè)基于面部

2、表情和生理信號的雙模態(tài)情感數(shù)據(jù)庫。
　　2.采用主動(dòng)表觀模型進(jìn)行人臉圖像定位切割預(yù)處理。提取基于稀疏編碼的密集SIFT特征作為面部表情特征。使用生理特征提取工具AuTB提取生理特征。針對特征維度較高的問題，使用多種特征降維方法進(jìn)行降維和分類方法進(jìn)行情感識別。
　　3.提出了一種基于稀疏多集典型相關(guān)分析的特征層融合方法和一種基于投票的決策層融合方法。其中稀疏多集典型相關(guān)分析方法將傳統(tǒng)的典型相關(guān)分析方法擴(kuò)展到多類，通過增加正則項(xiàng)

3、的方式使投影向量稀疏。基于投票的決策層融合方法利用單一模態(tài)實(shí)驗(yàn)中的混淆矩陣計(jì)算得到每類情感的分類概率，并將兩種模態(tài)對應(yīng)的分類概率進(jìn)行加權(quán)得到最終分類結(jié)果，該算法簡便、有效并且有著很好的擴(kuò)展性。在本文建立的雙模態(tài)情感數(shù)據(jù)庫上進(jìn)行情感識別實(shí)驗(yàn)，并與其他多種融合方法進(jìn)行比較，取得了較好的結(jié)果。
　　4.針對視頻誘發(fā)情感的實(shí)驗(yàn)中可能存在的性別差異問題進(jìn)行了大量的實(shí)驗(yàn)探究。對不同性別被試采用單一以及雙模態(tài)情感識別實(shí)驗(yàn)的方法進(jìn)行實(shí)驗(yàn)。通過對相