語音情感特征提取及識別方法研究.pdf

1、近年來隨著人工智能的發(fā)展，情感智能與計算機技術結合產生了情感計算這一嶄新的研究課題。情感在人類的感知、決策等過程中扮演著重要角色。語音作為人類最重要的交流媒介，攜帶著豐富的情感信息。如何使用計算機技術從語音中自動識別說話者的情感狀態(tài)近年來受到各領域研究者的廣泛關注。語音情感識別的研究成果對于增強計算機的智能化和人性化、開發(fā)新型人機環(huán)境、以及推動多媒體技術和信號處理等相關領域的發(fā)展有著重要的意義?，F(xiàn)有的基于語音聲學特征的情感識別研究，尤其

2、是針對普通話語音的研究，還存在較多局限性，如不能像語音識別一樣找到一種通用的語音情感特征，且識別效果受說話者、環(huán)境、語言、文化、性別等的影響較大，識別效果不佳，魯棒性、抗干擾能力較差等。
　　 本文圍繞語音情感識別中情感語料庫的建立、語音情感特征提取與選擇、語音情感識別方法四個方面的關鍵技術，以新型人機交互為應用背景，深入分析這些關鍵技術的研究現(xiàn)狀以及存在的問題，針對高興、悲傷、驚訝、憤怒、害怕、厭惡、中性7種日常生活中常見的經

3、典情感，建立應用能力良好的普通話語音情感數(shù)據(jù)庫，提出以兩級語音情感特征選擇、非個性化語音情感特征提取、多重分形語音情感特征提取、分層語音情感識別方法以及語音情感識別決策融合方法為核心的語音情感識別技術。本文的主要工作概括如下：
　　 (1)建立主要以普通話為腳本的語音情感數(shù)據(jù)庫(Speech Emotion Database-SED)和音視頻情感數(shù)據(jù)庫(Audio-Visual Emotion Database-AVED)。這兩

4、個情感數(shù)據(jù)庫均包含了高興、悲傷、驚訝、憤怒、害怕、厭惡、中性7種情感，分別由10個和9個不同的非專業(yè)表演者在專門的錄音室錄制完成。其中，將音視頻情感數(shù)據(jù)庫AVED進行音視頻分離后的音頻部分作為情感語料。
　　 (2)提出了基于多重分形的和基于導數(shù)的非個性化語音情感特征提取方法，給出了個性化和非個性化語音情感特征的概念，并將所提取的語音情感特征劃分為個性化和非個性化語音情感特征兩類，分別分析了這些特征對語音情感識別的貢獻以及受說話

5、者變化的影響。所提出的多重分形語音情感特征在悲傷、中性情感上的識別效果優(yōu)于聲學語音情感特征，可作為聲學語音情感特征的補充；基于導數(shù)的非個性化語音情感特征在包含一定情感信息的前提下受說話者個性化因素的干擾較小。對語音情感特征性質的研究結果將有助于進一步研究如何提高語音情感識別的魯棒性，為特定背景下的語音情感識別提供有益的參考；
　　 (3)提出基于類集/類對的兩級語音情感識別和分類器參數(shù)優(yōu)化方法。該方法將原始特征首先采用神經網絡貢

6、獻分析法進行預選擇，然后針對將要劃分的類集或者類對，將預選擇后的特征進行合并，合并后的特征再使用遺傳算法進行特征和分類器參數(shù)的優(yōu)化選擇。該方法克服了神經網絡選擇不夠準確、難收斂，遺傳算法選擇出的特征子集規(guī)模較大的缺點，能夠保證針對特定的類集/類對選擇比較準確的特征子集，選擇出的特征子集規(guī)模不大，且可同時對分類器的參數(shù)進行優(yōu)化。
　　 (4)提出基于改進有向無環(huán)圖的分層語音情感識別方法。在該方法中，根據(jù)情感對之間混淆度的大小構造有

7、向無環(huán)圖中語音情感的分層識別過程，并針對容易錯分的樣本，提出了基于測地距離的鑒別度量算法，給易錯分樣本提供多次被正確識別的機會，可有效提高易錯分樣本的識別率。情感識別實驗結果表明：改進有向無環(huán)圖方法在識別時間增加不大的前提下，能夠有效地提高語音情感的整體識別率。
　　 (5)提出基于承諾和一致性系數(shù)的自適應模糊積分語音情感融合識別方法。該方法將分類器在訓練集上分類的先驗知識與對待識別樣本的分辨能力和分類一致性相結合，獲得真實反映