3D可視化言語表達和情感模擬研究.pdf

1、語音可視化是語音合成研究領域中的一項重要的分支，具有真實感的3D人臉模型是實現(xiàn)言語表達和情感模擬動畫的基礎和前提，同樣也是計算機圖形學、計算機視覺、人機交互等領域中非常重要的和非?；钴S的熱點研究課題。合成具有真實感視覺方面的3D人臉模型是現(xiàn)階段國內外的許多專家學者的難點所在。這是因為人臉生理結構的復雜度，人臉說話口型的多樣性，人臉表情運動的微妙性，口型動作與文本或聲音的復雜的映射建模等都是具有挑戰(zhàn)性的研究。本文在前人研究的基礎上結合語言

2、學和計算機圖形學的知識，建立一個文本驅動的帶說話、嘴部動作、韻律和面部表情等的3D說話人頭像動畫模型。該模型具有真實感好、言語表達和情感模擬性逼真、自動化等優(yōu)點，在電影特效、廣告動畫、計算機游戲和言語康復訓練以及虛擬教學和視頻會議等領域都有重要的應用前景。
　　本文使用直接面部跟蹤技術，以美國的NaturalPoint公司旗下的Optitrack系統(tǒng)采集真實人臉部運動數(shù)據(jù)的三維信息。該系統(tǒng)有六個紅外攝像機和配套的軟件Arena組成

3、，用來跟蹤真實人說話時貼在臉部的markers點運動位置。首先將得到的三維運動信息提出得到運動特征點的三維坐標，其次將經(jīng)過處理的三維坐標點映射到人臉模型特征點坐標系中來驅動虛擬的3D人臉模型。文章中3D虛擬人臉模型分成幾個運動相對獨立的功能區(qū)域，使用狄利克雷自由變形算法DFFD和剛體的旋轉平移變換上的控制點的移動來驅動3D說話人模型，通過不同功能區(qū)域交叉控制點，模擬不同功能區(qū)的相互影響。通過Visual Studio2010C/C++編

4、程，并用開放的圖形接口OpenGL添加光照，紋理映射等信息顯示出來。本文中的言語表達和情感模擬分別采集不同的真實人的臉部運動信息來驅動。言語表達采集中性的文本語音數(shù)據(jù)，然而情感模擬的數(shù)據(jù)需要采集專業(yè)表演人員的帶有感情色彩的語句。與此同時采集并處理對應的語音信息，作為音視頻對照和同步以及可視化語音識別的一個研究方向。接著本文設計了人工實驗來對對模擬出來的言語和情感效果進行驗證以及評價。最后，我們對本文的研究工作做了總結，并對當前存在的不足