融合面部表情的語音情感識別研究.pdf

1、情感在人類的感知、決策等過程中具有重要作用，人類情感主要通過語言、面部表情、體態(tài)等方式表達出來。語言是人類交流最普遍、最有效的方式，語音是語言的聲學表現(xiàn)形式。使得計算機在接收到語音信號后能獲取人的情感信息，感知人類的真正意圖，就是語音情感識別技術(shù)。同時人類的情感也通過面部表情變化，如眼睛、眉毛和嘴巴的變化表現(xiàn)出來。通過分析面部表情變化來識別表情分類的過程稱為面部表情識別。它是通過提取人臉的表情變化特征，進行分析，按照人類通常的認識和思維

2、方式加以歸類和理解，即利用人類所具有的情感信息方面的先驗知識，使計算機進行理解和判斷，進而從人臉信息中去分析識別人類情感的重要方法。隨著情感識別研究的不斷深入，在人機交互、心理學研究等領域其理論價值和應用前景得到了廣泛認可。
　　 目前，依靠語音、表情、生理信號等單一模態(tài)的情感識別方法較為普遍，并取得了一定的研究成果。但人類是通過聽覺、視覺、觸覺等多個通道的信息來表達情感的，單純依靠語音或者表情等某個通道的信息來識別情感，不能融

3、合不同性質(zhì)的情感信號，達到信息上的互補，具有很大的局限性，也越來越不能滿足當前的實際研究需求。因此，情感識別的研究需要沿著多模態(tài)識別的方向發(fā)展，其中雙模態(tài)的情感識別研究，可以利用兩通道的信息互補來提高分類器的魯棒性和情感識別率，是目前我們進一步深入情感研究的主要途徑。
　　 為了改進目前單模態(tài)的情感識別研究，本課題提出在基于語音韻律特征的情感識別研究的基礎上，融入面部表情信息，來提高情感識別率。首先對情感進行分類，建立包含情感語

4、句與面部表情的情感數(shù)據(jù)庫。通過對語音信號預處理、提取韻律特征參數(shù)、選擇分類器進行識別，得到單模態(tài)的語音情感識別結(jié)果。然后處理面部表情信息，經(jīng)過特征提取、融合算法，實現(xiàn)融合語音及面部表情的雙模態(tài)情感識別，輸出識別結(jié)果。本課題主要包括以下幾個方面的研究內(nèi)容：
　　 第一，通過查閱國內(nèi)外參考文獻，選擇平靜、高興、驚奇、悲傷和憤怒五種基本情感狀態(tài)。在實驗室環(huán)境下，針對特定樣本語句，采集普通話語音信號及說話人的面部表情圖像信息，建立情感數(shù)

5、據(jù)庫。
　　 第二，對數(shù)據(jù)庫中不同情感狀態(tài)的語音信號進行預處理，提取情感特征參數(shù)，選擇語句發(fā)音持續(xù)時間、語速、振幅平均值、振幅變化范圍、基頻均值、基頻范圍、基頻變化率、共振峰均值、共振峰范圍、共振峰變化率十個韻律特征參數(shù)來分析語音情感。利用主元素分析(PCA)法進行情感識別實驗。實驗所得到的語音情感平均識別率達到84.4％。
　　 第三，對表情信息進行處理，通過人臉檢測、定位、光線補償、歸一化、灰度化、高斯平滑等預處理以