類人機(jī)器人表情識(shí)別與表情再現(xiàn)方法研究.pdf

1、作為智能機(jī)器，類人機(jī)器人不僅需要具有與人相似的外表，還需要擁有跟人一樣的情感感知能力和情感表達(dá)能力。而表情是情感感知最主要的載體，也是情感表達(dá)最直接、最明顯的方式。因此，研究類人機(jī)器人表情識(shí)別與表情再現(xiàn)方法對(duì)提高機(jī)器人情感交互能力具有重要理論意義，對(duì)推動(dòng)類人機(jī)器人走向?qū)嵱没簿哂兄匾獞?yīng)用價(jià)值。
　　本課題從讀懂情感的“腦”和富于表情的“臉”兩個(gè)角度，對(duì)多姿態(tài)表情特征描述、區(qū)域特征融合、頭部姿態(tài)估計(jì)、時(shí)序特征提取、機(jī)器人表情再現(xiàn)策略

2、等問題進(jìn)行深入研究。主要研究內(nèi)容和成果如下:
　　(1)在自然人機(jī)交互中，為賦予機(jī)器人讀懂情感的“腦”，提出兩種基于區(qū)域特征融合的多姿態(tài)表情識(shí)別方法。首先，在多姿態(tài)表情特征提取方面，結(jié)合主動(dòng)外觀模型和梯度方向直方圖，構(gòu)建一種多姿態(tài)表情特征描述子，一方面采用多姿態(tài)模板提高特征點(diǎn)的定位精度;一方面利用區(qū)域梯度方向直方圖描述局部表情細(xì)節(jié)。然后，在區(qū)域特征融合和分類方面，鑒于人臉表情細(xì)節(jié)更多集中于眉毛、眼睛、嘴巴等區(qū)域，在提取區(qū)域多姿態(tài)表

3、情特征基礎(chǔ)上，基于模糊聚類算法構(gòu)建一種區(qū)域特征級(jí)融合的多姿態(tài)表情識(shí)別方法;進(jìn)一步考慮區(qū)域特征的可信度和支持度，提出一種基于Dempster-Shafer證據(jù)理論的區(qū)域特征決策級(jí)融合策略。從特征提取和區(qū)域融合兩個(gè)角度，提高多姿態(tài)下機(jī)器人表情分類正確率，這是本文在機(jī)器人多姿態(tài)表情識(shí)別方面的創(chuàng)新。
　　(2)在準(zhǔn)確感知表情基礎(chǔ)上，為賦予機(jī)器人富于表情的“臉”，提出一種基于單幀圖像的機(jī)器人表情再現(xiàn)方法。首先，鑒于表情再現(xiàn)中頭部姿態(tài)與面部表

4、情的相輔相成，利用相關(guān)向量機(jī)實(shí)現(xiàn)頭部剛性特征與姿態(tài)控制電機(jī)的非線性映射，完成剛性頭部運(yùn)動(dòng)與非剛性面部表情的協(xié)調(diào)一致。然后，為實(shí)現(xiàn)電機(jī)控制空間到面部表情空間的映射，基于能量守恒原則構(gòu)建機(jī)器人面部前向機(jī)械模型，并通過加權(quán)目標(biāo)函數(shù)的優(yōu)化實(shí)現(xiàn)機(jī)器人單幀表情圖像的再現(xiàn)。機(jī)器人頭部姿態(tài)的精確估計(jì)和面部表情的逼真模仿，這是本文在機(jī)器人單幀表情再現(xiàn)方面的創(chuàng)新。
　　(3)針對(duì)機(jī)器人單幀表情再現(xiàn)算法在多幀表情模仿中存在相似度低和電機(jī)跳變的問題，提出

5、一種基于表演驅(qū)動(dòng)的機(jī)器人多幀表情模仿方法。該方法在前向機(jī)械模型基礎(chǔ)上，進(jìn)一步構(gòu)建基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的電機(jī)時(shí)序預(yù)測(cè)模型。通過在優(yōu)化目標(biāo)函數(shù)中融合兩種模型，一方面保持機(jī)器人單幀表情模仿的相似度;一方面維持機(jī)器人連續(xù)電機(jī)運(yùn)動(dòng)的平滑度，這是本文在機(jī)器人多幀表情模仿方面的創(chuàng)新。
　　(4)鑒于面部表情模仿是一天然的時(shí)序過程以及進(jìn)一步改善動(dòng)態(tài)表情模仿的時(shí)空相似度和時(shí)空一致性，提出一種基于時(shí)序特征的機(jī)器人在線表情遷移方法。該方法在利用Kin

6、ect捕獲面部運(yùn)動(dòng)信息的基礎(chǔ)上，一方面引入拉普拉斯變換描述底層表情語義，一方面基于表情活動(dòng)單元和表情形變特征構(gòu)建高層表情語義，并融合兩種語義以實(shí)現(xiàn)動(dòng)態(tài)表情的時(shí)空特征提取。然后，基于時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)建表情時(shí)空特征到電機(jī)控制時(shí)序的逆向機(jī)械模型。這種基于時(shí)空特征和時(shí)序模型的構(gòu)建方法，一方面能夠?qū)崿F(xiàn)前向機(jī)械模型與電機(jī)時(shí)序模型的統(tǒng)一，達(dá)到機(jī)器人表情模仿的時(shí)空一致性;另一方面能夠直接完成表情時(shí)空語義空間到電機(jī)控制空間的映射，簡化選優(yōu)步驟，提高表情