3D可視化言語表達(dá)和情感模擬研究.pdf

1、語音可視化是語音合成研究領(lǐng)域中的一項重要的分支，具有真實感的3D人臉模型是實現(xiàn)言語表達(dá)和情感模擬動畫的基礎(chǔ)和前提，同樣也是計算機圖形學(xué)、計算機視覺、人機交互等領(lǐng)域中非常重要的和非?；钴S的熱點研究課題。合成具有真實感視覺方面的3D人臉模型是現(xiàn)階段國內(nèi)外的許多專家學(xué)者的難點所在。這是因為人臉生理結(jié)構(gòu)的復(fù)雜度，人臉說話口型的多樣性，人臉表情運動的微妙性，口型動作與文本或聲音的復(fù)雜的映射建模等都是具有挑戰(zhàn)性的研究。本文在前人研究的基礎(chǔ)上結(jié)合語言

2、學(xué)和計算機圖形學(xué)的知識，建立一個文本驅(qū)動的帶說話、嘴部動作、韻律和面部表情等的3D說話人頭像動畫模型。該模型具有真實感好、言語表達(dá)和情感模擬性逼真、自動化等優(yōu)點，在電影特效、廣告動畫、計算機游戲和言語康復(fù)訓(xùn)練以及虛擬教學(xué)和視頻會議等領(lǐng)域都有重要的應(yīng)用前景。
　　本文使用直接面部跟蹤技術(shù)，以美國的NaturalPoint公司旗下的Optitrack系統(tǒng)采集真實人臉部運動數(shù)據(jù)的三維信息。該系統(tǒng)有六個紅外攝像機和配套的軟件Arena組成

3、，用來跟蹤真實人說話時貼在臉部的markers點運動位置。首先將得到的三維運動信息提出得到運動特征點的三維坐標(biāo)，其次將經(jīng)過處理的三維坐標(biāo)點映射到人臉模型特征點坐標(biāo)系中來驅(qū)動虛擬的3D人臉模型。文章中3D虛擬人臉模型分成幾個運動相對獨立的功能區(qū)域，使用狄利克雷自由變形算法DFFD和剛體的旋轉(zhuǎn)平移變換上的控制點的移動來驅(qū)動3D說話人模型，通過不同功能區(qū)域交叉控制點，模擬不同功能區(qū)的相互影響。通過Visual Studio2010C/C++編

4、程，并用開放的圖形接口OpenGL添加光照，紋理映射等信息顯示出來。本文中的言語表達(dá)和情感模擬分別采集不同的真實人的臉部運動信息來驅(qū)動。言語表達(dá)采集中性的文本語音數(shù)據(jù)，然而情感模擬的數(shù)據(jù)需要采集專業(yè)表演人員的帶有感情色彩的語句。與此同時采集并處理對應(yīng)的語音信息，作為音視頻對照和同步以及可視化語音識別的一個研究方向。接著本文設(shè)計了人工實驗來對對模擬出來的言語和情感效果進行驗證以及評價。最后，我們對本文的研究工作做了總結(jié)，并對當(dāng)前存在的不足