雙模態(tài)漢語情感語音合成的研究.pdf

1、以清晰自然的合成語音,準(zhǔn)確生動地傳達語義信息是新一代語音合成系統(tǒng)所追求的目標(biāo)。雙模態(tài)情感語音合成的主要任務(wù)是,通過建立虛擬人臉模型,使計算機在合成語音的同時生成富有情感表現(xiàn)力的視覺信息。雙模態(tài)語音合成和語音識別是人機語音交互所需的兩項關(guān)鍵技術(shù),在信息處理領(lǐng)域有著重要的應(yīng)用價值。
　　 本文的主要研究內(nèi)容有三維人臉建模和渲染、三維動畫驅(qū)動方法、漢語情感韻律特征建模和基于基音同步疊加算法的語音合成。
　　 人臉建模方面,完成

2、了VRML模型解析和基于OpenGL的渲染。所用模型由7個人臉部件組成,共包含6435個頂點和12280個面。該模型在同類相關(guān)研究中復(fù)雜度較高,對人臉細(xì)節(jié)的刻確更為逼真。
　　 對比研究了參數(shù)控制和數(shù)據(jù)驅(qū)動兩種三維動畫驅(qū)動方法。通過改進控制參數(shù)的采集方式,解決了齒、舌、喉等器官的運動問題。在基于MPEG-4標(biāo)準(zhǔn)的FAP參數(shù)控制法中,采用徑向基函數(shù)和升余弦函數(shù)控制唇動和表情變化。在基于關(guān)鍵幀插值的數(shù)據(jù)驅(qū)動法中,使用三次多項式插值法

3、,對視素幀和表情幀進行空間矢量加權(quán),生成融合后的動畫幀。結(jié)果表明,FAP參數(shù)法可以實現(xiàn)細(xì)微的表情和唇形變化;數(shù)據(jù)驅(qū)動法通過融合多個關(guān)鍵幀可以快速產(chǎn)生新的表情種類。
　　 為提高合成語音自然度,準(zhǔn)確表達情感信息,對基于波形拼接的語音合成系統(tǒng)進行了改進。在系統(tǒng)前端加入基于人工神經(jīng)網(wǎng)絡(luò)的韻律預(yù)測模型,后端加入基于PSOLA算法的韻律修改模型。合成階段使用基于決策樹和代價函數(shù)相結(jié)合的基元選擇法。仿真結(jié)果顯示,合成的語音感情色彩明顯,經(jīng)過