基于SRU機器人的人臉表情識別系統(tǒng)研究與實現(xiàn).pdf

1、隨著社會的發(fā)展和科技的進步，機器人在日常生活中扮演的角色越來越重要，對機器人與人的交互功能提出新要求。我們希望在機器人與人的交互系統(tǒng)中，機器人不僅需要完成人類的指令，而且需要感知人類情感變化。人臉是最重要的人類情感表達途徑，人臉表情識別在人類情感分析中占有重要的地位。人臉表情識別系統(tǒng)由人臉檢測、表情特征提取和表情分類構成，特征提取是表情識別系統(tǒng)中最關鍵的部分。由于缺乏有效地表情特征表達方式，表情識別系統(tǒng)在實際使用中效果欠佳。
　　

2、深度學習（Deep Learning）作為層次特征學習的方式，近年來一直受到學術界和工業(yè)界的廣泛關注，在自然語言處理、圖像識別和語音識別等問題上取得很好的效果。
　　本文借助深度模型，對表情特征提取方式進行研究，在此基礎上提出三種基于轉移學習思想的表情識別模型，并在SRU機器人實驗平臺上實現(xiàn)表情識別系統(tǒng)。本文主要完成的工作集中在以下四個方面：
　　首先，提出基于轉移學習的表情識別模型。該模型利用實現(xiàn)人臉識別的卷積神經(jīng)網(wǎng)絡中人

3、臉特征進行轉移學習，實現(xiàn)對中性、驚訝、高興等七種表情狀態(tài)的分類。為了構建較復雜的實驗環(huán)境，選擇CK+表情數(shù)據(jù)庫、JAFFE表情數(shù)據(jù)庫、KDEF表情數(shù)據(jù)集和PICS中表情數(shù)據(jù)集中明確標簽的樣本加入表情組合數(shù)據(jù)庫，同時對該數(shù)據(jù)集中所有樣本進行人臉檢測和灰度化處理，該模型在表情組合數(shù)據(jù)庫上取得80.49％平均識別率。通過不同遮擋率的表情數(shù)據(jù)集的實驗，證明該模型對遮擋具有較強的魯棒性；
　　其次，對單個網(wǎng)絡轉移模型進行改進，提出基于多模型

4、的表情識別模型。該模型從兩個網(wǎng)絡結構相同、訓練集不同的人臉識別網(wǎng)絡中提取人臉特征，對7種表情狀態(tài)進行分類，在表情組合數(shù)據(jù)庫上取得81.02%平均識別率。經(jīng)過在不同遮擋率的表情數(shù)據(jù)集的實驗，該模型對遮擋的魯棒性有較大地提升。
　　然后，提出基于多任務的表情識別模型。該模型使用結構復雜的卷積網(wǎng)絡完成多種人臉屬性分類任務，從該網(wǎng)絡中提取人臉特征，識別7種表情狀態(tài)，并在組合表情數(shù)據(jù)集上取得92.02%平均識別率。通過豐富的實驗，發(fā)現(xiàn)人臉屬

5、性信息比人臉識別信息更易于表情分類，每種人臉屬性信息對表情識別的響應是不同的。因此，在使用多任務轉移學習時，應選擇與人臉表情有關的人臉屬性任務用于提高表情識別效果。同樣地，經(jīng)過遮擋表情數(shù)據(jù)集的實驗，該模型對遮擋也具有較強的魯棒性。
　　最后，設計和實現(xiàn)在SRU機器人平臺上的人臉表情識別系統(tǒng)。該系統(tǒng)由Kinect對圖像捕獲模塊、人臉檢測與追蹤模塊和表情識別模塊構成。Kinect對圖像捕獲模塊利用Kinect拍攝外界環(huán)境圖像；人臉檢測