遮擋條件下的聾啞人情感計(jì)算方法研究.pdf

1、聾啞人屬于一個(gè)特殊的人類群體，同時(shí)他們也存在情感交流，與健聽(tīng)人相比，聾啞人無(wú)法借助語(yǔ)音來(lái)表達(dá)他們的感情，更多的是借助面部表情來(lái)表達(dá)，所以可以利用面部表情來(lái)識(shí)別聾啞人的情感狀態(tài)。對(duì)于聾啞人而言，他們進(jìn)行交流的最自然方式就是使用手語(yǔ)。手形、手臂的運(yùn)動(dòng)同時(shí)加上表情、口型以及其它身體姿勢(shì)所表達(dá)思想的視覺(jué)語(yǔ)言就是手語(yǔ)。手語(yǔ)通過(guò)手的形狀、位置與方向的變化來(lái)表達(dá)特定的語(yǔ)義，在聾啞人交流過(guò)程中起了非常重要的作用。在手語(yǔ)交流過(guò)程中，手部經(jīng)常會(huì)遮擋面部的五

2、官，就無(wú)法使用針對(duì)健聽(tīng)人的情感計(jì)算方法（即利用面部五官特征）來(lái)識(shí)別聾啞人的情感狀態(tài)，迫切需要研究出適應(yīng)于聾啞人的情感計(jì)算方法。
　　本論文分析研究了特征臉?lè)椒?，并將其?yīng)用于識(shí)別聾啞人的情感計(jì)算，具體工作如下：
　　(1)對(duì)課題組自建的聾啞人的手語(yǔ)視頻進(jìn)行了研究，發(fā)現(xiàn)聾啞人在使用手語(yǔ)過(guò)程當(dāng)中，手部經(jīng)常會(huì)遮擋面部五官，但是對(duì)于嘴部的遮擋概率要低于遮擋其他五官的概率。而且經(jīng)過(guò)研究發(fā)現(xiàn)聾啞人的嘴部在交流過(guò)程中有著無(wú)可替代的作用。

3、r>　　(2)目前因?yàn)槊@啞人手語(yǔ)視頻庫(kù)的稀缺，本課題組著手拍攝了聾啞人的手語(yǔ)視頻庫(kù)，創(chuàng)建了針對(duì)聾啞人的表情視頻庫(kù)。本課題組自建了聾啞人表情視頻庫(kù)，該數(shù)據(jù)庫(kù)包含564張表情圖片和4個(gè)6.5GB大小的表情視頻，內(nèi)容以驚訝、憤怒、高興、恐懼、悲傷和厭惡這6種表情的表達(dá)為主。
　　(3)針對(duì)聾啞人使用手語(yǔ)進(jìn)行交流，而且嘴部形狀在交流過(guò)程中的重要作用，提出了利用嘴部特征進(jìn)行聾啞人情感計(jì)算的研究。首先利用膚色信息從聾啞人面部圖像中提取出嘴部區(qū)