漢語(yǔ)語(yǔ)音基于包絡(luò)頻譜調(diào)制模式的連續(xù)情緒計(jì)算.pdf

1、在智能人-機(jī)交互系統(tǒng)中，語(yǔ)音連續(xù)情緒計(jì)算是目前流行的研究領(lǐng)域，并且得到了廣泛的應(yīng)用。雖然許多科研人員已經(jīng)提出了解決語(yǔ)音離散情緒識(shí)別的可能性，并取得了一些成果，但至今在語(yǔ)音連續(xù)情緒上仍沒(méi)有滿(mǎn)意的結(jié)論。
　　 本文的主要研究?jī)?nèi)容是漢語(yǔ)語(yǔ)音連續(xù)情緒計(jì)算，即從語(yǔ)音信號(hào)中識(shí)別說(shuō)話人當(dāng)時(shí)所處的連續(xù)情緒狀態(tài)。文章描述了一個(gè)基于聽(tīng)覺(jué)心理學(xué)的連續(xù)情緒計(jì)算模型-包絡(luò)頻譜調(diào)制模式(envelope spectral modulation patter

2、ns，ESMP)與情緒心理學(xué)維數(shù)(效價(jià)維、激勵(lì)維、支配維和能量維)之間的分布關(guān)系，用于人類(lèi)語(yǔ)音連續(xù)情緒的自動(dòng)識(shí)別。ESMP是從聽(tīng)覺(jué)感應(yīng)長(zhǎng)期臨界頻譜表示中提取的，包含了頻譜和臨界調(diào)制頻率成分，從而通過(guò)人類(lèi)語(yǔ)音知覺(jué)頻譜特征而不是傳統(tǒng)的韻律特征來(lái)傳遞情緒信息。本文以漢語(yǔ)語(yǔ)音連續(xù)情緒計(jì)算為重點(diǎn)，主要研究?jī)?nèi)容包括：
　　 ①模糊連續(xù)情緒語(yǔ)料數(shù)據(jù)庫(kù)的建立；
　　 ②人主觀辨聽(tīng)實(shí)驗(yàn)：語(yǔ)音情緒維數(shù)分析；
　　 ③機(jī)器實(shí)驗(yàn)：包絡(luò)頻

3、譜特征提取、頻譜計(jì)算和情緒分類(lèi)。
　　 漢語(yǔ)普通話模糊連續(xù)情緒語(yǔ)音采集：在分析當(dāng)前國(guó)際上一些情緒語(yǔ)料數(shù)據(jù)庫(kù)的基礎(chǔ)上，獨(dú)立設(shè)計(jì)文本，確定錄音人數(shù)、語(yǔ)音種類(lèi)(自然、模仿、誘出)、模糊情緒種類(lèi)和語(yǔ)料數(shù)目。所研究的情緒為5種模糊基本情緒狀態(tài)：(稍微、比較和非常)喜、怒、驚、悲和懼，1種模糊二次派生情緒(稍微、比較和非常)驚喜，另取參考語(yǔ)音信號(hào)表征沒(méi)有情緒時(shí)的狀態(tài)。通過(guò)對(duì)采集的模糊情緒語(yǔ)音數(shù)據(jù)進(jìn)行第一次主觀聽(tīng)辨實(shí)驗(yàn)，最后建立漢語(yǔ)模糊情緒語(yǔ)

4、音數(shù)據(jù)庫(kù)。
　　 第二次、三次主觀辨聽(tīng)實(shí)驗(yàn)：實(shí)驗(yàn)研究了上述情緒在V-A-D上的分布情況。每一維可劃分7個(gè)水平，然后請(qǐng)正常聽(tīng)力的人對(duì)第一次主觀辨聽(tīng)實(shí)驗(yàn)選出的情緒語(yǔ)料進(jìn)行再次辨聽(tīng)，并且鑒定每個(gè)情緒語(yǔ)料的7個(gè)水平在V-A-D三維空間的分布。從而得到每種情緒在V-A-D三維空間的分布結(jié)果。
　　 計(jì)算機(jī)實(shí)驗(yàn)：首先，分析了情緒語(yǔ)音相對(duì)于參考(無(wú)情緒)語(yǔ)音的包絡(luò)特征(上下包絡(luò)線、包絡(luò)譜和包絡(luò)特征向量)。然后，使用全相經(jīng)驗(yàn)?zāi)B(tài)分解(e

5、nsemble empirical mode decomposition，EEMD)分段冪函數(shù)插值(PPF)算法提取這些特征，通過(guò)對(duì)情緒語(yǔ)音信號(hào)進(jìn)行EEMD得到一系列情緒本征模態(tài)函數(shù)(emotional intrinsic mode functions，IMFe)，提取每一級(jí)IMFe的頻率倒譜系數(shù)作為表征說(shuō)話人情緒的特征參數(shù)，對(duì)得到的情緒特征參數(shù)用矢量量化進(jìn)行識(shí)別。根據(jù)IMFe頻譜變換獲得包絡(luò)線和包絡(luò)譜，同時(shí)通過(guò)快速傅立葉變換(FFT)

6、也得到了包絡(luò)特征向量。
　　 在提取包絡(luò)特征的基礎(chǔ)上，文章進(jìn)一步研究了漢語(yǔ)情緒語(yǔ)音的功率頻譜密度和能量頻譜，進(jìn)而得到了ESMP。利用Matlab軟件仿真了模糊情緒的EEMD和包絡(luò)頻譜特性，得到模糊情緒的ESMP。同時(shí)，根據(jù)ESMP的峰值(PV)、峰值瞬時(shí)(IP)、形心(C)、等距寬度(EW)和橫坐標(biāo)均方(MSA)，進(jìn)一步在V-A-D-P四維空間中分析了維數(shù)水平和ESMP之間的關(guān)系。
　　 在漢語(yǔ)語(yǔ)音模糊情緒分類(lèi)上，文章提

7、出一種新穎的、基于ESMP提取和模糊支持向量回歸(FSVR)分類(lèi)器(classifier)的互相關(guān)性算法。該算法應(yīng)用于漢語(yǔ)語(yǔ)音模糊情緒((稍微、比較和非常)喜、驚和驚喜)的分類(lèi)上。同時(shí)，F(xiàn)SVR分類(lèi)器使用了模糊連續(xù)二分(FCB)過(guò)程，并且適用于情緒語(yǔ)音互相關(guān)的包絡(luò)頻譜特征。這種借助FSVR分類(lèi)器的包絡(luò)頻譜互相關(guān)性算法，可以大幅提高漢語(yǔ)語(yǔ)音模糊情緒識(shí)別率，并且在識(shí)別非常喜情緒時(shí)準(zhǔn)確率甚至可以達(dá)到92.58％。
　　 綜上所述，在進(jìn)