基于深度學習的文本語音耦合情感識別方法研究.pdf

1、人機交互領(lǐng)域研究是目前智能技術(shù)應用研究的重要方向之一，自然語言理解是人機交互的重要完成途徑，其中情感識別技術(shù)對于實現(xiàn)自然人機交互起到至關(guān)重要。同時隨著多交叉學科以及計算機科學相應的模式識別技術(shù)共同發(fā)展，情感識別研究任務(wù)，作為人工智能中的一個重要領(lǐng)域在理論研究和實際應用上都獲得了較大的發(fā)展。
　　在人機交互過程中，基于面部表情的情感識別研究中主要面臨的問題為信號采集以及信息處理，這種方法對硬件設(shè)備的有著較高要求。語音的獲取以及對話內(nèi)

2、容可以通過同種路徑獲取，文本信息屬于語音承載內(nèi)容，兩者在處理上具有同一性，因此基于語音信號情感識別方法與基于文本信號處理方法可以歸類實現(xiàn)，在此研究背景下，考慮單獨處理語言和文本上的局限性，本文將結(jié)合語言和文本兩種模態(tài)進行情感識別任務(wù)。本文的主要研究內(nèi)容和工作有:
　　1.語音情感數(shù)據(jù)庫的整理工作，本文將移動客服通話數(shù)據(jù)作為實驗數(shù)據(jù)，對語音數(shù)據(jù)進行情感標記處理以及文本識別處理，并對整通話按句子切分處理，從而完成對語音數(shù)據(jù)庫進行整合工

3、作。
　　2.基于文本的情感識別研究。本文采用多種統(tǒng)計方法以及語義層特征提取方法對文本內(nèi)容進行特征提取，同時考慮了短文本在情緒表達時的特點，并結(jié)合文本形態(tài)不同，從保存信息完整性角度出發(fā)，盡可能的提取文本中所表達的情感信息。
　　3.語音情感識別的研究工作。根據(jù)語音情感表達特征，在特征層面，將對語音信號進行兩種不同的特征提取（基于韻律學的情感特征和基于普的情感特征提?。?br>　　4.基于深度學習的雙模態(tài)特征，搭建深度架構(gòu)，