基于特權(quán)信息的情感識(shí)別.pdf

1、隨著科技的進(jìn)步和人們對(duì)人機(jī)交互中個(gè)性化交流需求的日益增多，情感識(shí)別作為影響交互質(zhì)量的重要因素成為相關(guān)研究領(lǐng)域的熱點(diǎn)之一，已經(jīng)取得了一定的研究進(jìn)展。在目前的研究中，情感識(shí)別通常被轉(zhuǎn)化為機(jī)器學(xué)習(xí)問(wèn)題進(jìn)行解決。傳統(tǒng)的機(jī)器學(xué)習(xí)方法多側(cè)重于特征提取和分類(lèi)器設(shè)計(jì)。相比于經(jīng)典的有監(jiān)督學(xué)習(xí)，基于特權(quán)信息的學(xué)習(xí)在訓(xùn)練階段，除了樣本特征和教師信號(hào)，還提供額外的信息，稱(chēng)為特權(quán)信息。特權(quán)信息，只在訓(xùn)練階段存在，在測(cè)試階段不存在。基于特權(quán)信息的學(xué)習(xí)的目標(biāo)為借助特

2、權(quán)信息建立更好的分類(lèi)器。在情感識(shí)別問(wèn)題中存在大量的特權(quán)信息，例如，在視頻情感標(biāo)注中，用戶(hù)的腦電(Electroencephalogram: EEG)特征可以作為特權(quán)信息;在基于腦電信號(hào)的情感識(shí)別中，情感刺激視頻和用戶(hù)的個(gè)性化信息均可以作為特權(quán)信息;在多表情單元的識(shí)別中，各識(shí)別任務(wù)在特征空間中的關(guān)系可以作為特權(quán)信息。因此，本文提出基于特權(quán)信息的情感識(shí)別研究，具體如下:
　　(1)提出了融合用戶(hù)腦電信號(hào)和視頻內(nèi)容的情感視頻標(biāo)注方法。首

3、先，從視頻片段中提取若干聽(tīng)覺(jué)和視覺(jué)特征，同時(shí)從腦電信號(hào)的每個(gè)通道中提取五種頻域特征。其次，使用統(tǒng)計(jì)分析的方法發(fā)掘情感標(biāo)簽與腦電和視頻特征之間的關(guān)系。再次，構(gòu)建三種貝葉斯網(wǎng)絡(luò)，分別從特征層獨(dú)立融合，決策層融合以及特征層相關(guān)融合三個(gè)層面，結(jié)合視頻和腦電特征對(duì)視頻進(jìn)行情感標(biāo)注。為了驗(yàn)證方法的有效性，本文設(shè)計(jì)并實(shí)施了心理生理學(xué)實(shí)驗(yàn)并采集了實(shí)驗(yàn)數(shù)據(jù)，包括誘發(fā)情感的視頻片段、用戶(hù)觀看視頻片段時(shí)的腦電響應(yīng)以及用戶(hù)在觀看每個(gè)視頻片段之后的自我情感評(píng)估。

4、實(shí)驗(yàn)結(jié)果表明本文提出的融合方法較傳統(tǒng)的僅使用單模態(tài)特征（視頻或腦電特征）情感標(biāo)注方法在愉悅度-喚醒度空間有更好的識(shí)別效果。此外，實(shí)驗(yàn)結(jié)果還表明在腦電特征有助于減小低層視頻特征和高層用戶(hù)情感標(biāo)簽之間的語(yǔ)義鴻溝。
　　(2)以某一模態(tài)特征為特權(quán)信息的情感識(shí)別和視頻情感標(biāo)注方法。具體來(lái)說(shuō)，既可以通過(guò)刺激視頻來(lái)輔助從腦電腦電信號(hào)中識(shí)別觀眾的情感，也可以通過(guò)腦電信號(hào)輔助基于視頻的情感標(biāo)注。首先，從腦電信號(hào)中提取頻域特征并從刺激視頻中提取視聽(tīng)

5、特征。其次，通過(guò)統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)行特征選擇。再次，通過(guò)典型相關(guān)分析(Canonical Correlation Analysis:CCA)同步構(gòu)建一個(gè)新的腦電特征空間和視頻特征空間。最后，采用支持向量機(jī)(Support Vector Machine: SVM)分別在腦電和視頻特征空間中訓(xùn)練識(shí)別模型。在基于腦電的情感識(shí)別中，僅使用腦電信號(hào)作為識(shí)別的輸入，并使用在腦電特征空間訓(xùn)練的SVM分類(lèi)器;在視頻的情感標(biāo)注中，僅使用視頻內(nèi)容作為識(shí)別的輸

6、入，并使用在視頻特征空間訓(xùn)練的 SVM分類(lèi)器。本文在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行了基于腦電信號(hào)的情感識(shí)別實(shí)驗(yàn)和視頻情感標(biāo)注。實(shí)驗(yàn)結(jié)果表明，視頻內(nèi)容作為上下文信息可以改善從腦電信號(hào)中識(shí)別情感的準(zhǔn)確度;類(lèi)似地，在訓(xùn)練過(guò)程中添加腦電信號(hào)同樣可以增強(qiáng)視頻情感標(biāo)注的性能。
　　(3)提出了采用被試和聚類(lèi)歸屬作為特權(quán)信息的情感識(shí)別方法。首先，從腦電信號(hào)的每個(gè)通道中提取五種頻域特征并通過(guò)統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)行特征選擇。其次，在訓(xùn)練階段使用兩種三節(jié)點(diǎn)貝葉斯網(wǎng)

7、絡(luò)(Bayesiannetworks: BN)來(lái)捕獲情感標(biāo)簽、腦電特征以及被試或者聚類(lèi)之間的聯(lián)合概率分布方程。最終，在測(cè)試過(guò)程中，僅使用腦電特征按照特權(quán)信息—被試獲聚類(lèi)歸屬——進(jìn)行邊緣化處理，用以估計(jì)樣本的情感標(biāo)簽。本文在三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，包括MAHNOB-HCI，DEAP和USTC-ERVS。實(shí)驗(yàn)結(jié)果表明，這種引入被試和聚類(lèi)歸屬的方法，比為每個(gè)被試訓(xùn)練單獨(dú)的分類(lèi)器，或在整個(gè)數(shù)據(jù)集上訓(xùn)練被試的無(wú)關(guān)的分類(lèi)器有著更好的情感識(shí)別效果

8、。
　　(4)提出了使用相關(guān)的識(shí)別任務(wù)作為特權(quán)信息的多表情單元識(shí)別的方法，即通過(guò)在特征和目的標(biāo)簽層面聯(lián)合構(gòu)建面部動(dòng)作單元間關(guān)系來(lái)進(jìn)行多表情單元識(shí)別。首先，將多任務(wù)特征學(xué)習(xí)方法用在分組之后的動(dòng)作單元識(shí)別任務(wù)，并在每個(gè)組內(nèi)學(xué)習(xí)共享的特征。其次，使用貝葉斯網(wǎng)絡(luò)，結(jié)合面部圖像的目的標(biāo)簽對(duì)動(dòng)作單元之間的共生和互斥關(guān)系進(jìn)行建模。最后，使用訓(xùn)練好的貝葉斯網(wǎng)絡(luò)對(duì)多任務(wù)學(xué)習(xí)的結(jié)果進(jìn)行校正，同時(shí)通過(guò)概率推理實(shí)現(xiàn)了多面部動(dòng)作單元的識(shí)別。在CK+(ext