基于參數(shù)控制的語音驅(qū)動(dòng)唇形同步人臉動(dòng)畫.pdf

1、人臉動(dòng)畫技術(shù)是利用計(jì)算機(jī)圖形學(xué)在建模、渲染和實(shí)時(shí)動(dòng)畫等方面的理論與方法，以實(shí)現(xiàn)實(shí)時(shí)的、真實(shí)感的人臉動(dòng)畫仿真，廣泛應(yīng)用于虛擬現(xiàn)實(shí)、影視制作、視頻通信等領(lǐng)域。隨著人臉動(dòng)畫技術(shù)應(yīng)用的不斷深入，研究和開發(fā)直接基于語音驅(qū)動(dòng)的人臉動(dòng)畫技術(shù)，受到人們?cè)絹碓蕉嗟年P(guān)注。本文探討和研究了基于語音驅(qū)動(dòng)的人臉唇形同步動(dòng)畫技術(shù)，提出和實(shí)現(xiàn)了一種新的基于參數(shù)控制的語音驅(qū)動(dòng)唇形同步人臉動(dòng)畫系統(tǒng)。 本文首先就該領(lǐng)域國內(nèi)外研究成果進(jìn)行了深入分析與總結(jié)，得出了聲學(xué)

2、語音和視覺語音之間的內(nèi)在聯(lián)系、人臉參數(shù)模型的構(gòu)建，以及語音特征參數(shù)與人臉參數(shù)模型之間的映射關(guān)系是語音驅(qū)動(dòng)人臉動(dòng)畫實(shí)現(xiàn)方法研究中首先要解決的3個(gè)關(guān)鍵問題。通過分析語音的產(chǎn)生過程及其聲學(xué)特性，結(jié)合漢語語音的特點(diǎn)，確立了以共振峰來體現(xiàn)聲學(xué)語音和視覺語音之間的內(nèi)在聯(lián)系，建立了分析提取輸入語音信號(hào)與唇部運(yùn)動(dòng)相關(guān)的特征參數(shù)的方法。結(jié)合人臉唇部運(yùn)動(dòng)機(jī)理，構(gòu)建了肌肉拉伸和下頜轉(zhuǎn)動(dòng)的人臉唇形物理參數(shù)模型。利用語音識(shí)別技術(shù)將語音序列識(shí)別為音素，建立了基于語

3、義層的音素與視素之間的映射模型。提出和建立了一種控制靈活、可移植性強(qiáng)的唇形參數(shù)控制方法，實(shí)現(xiàn)了真人語音輸入驅(qū)動(dòng)唇形同步變形運(yùn)動(dòng)的人臉動(dòng)畫。 本文結(jié)合OpenGL和VC++6.0建立了語音驅(qū)動(dòng)唇形同步動(dòng)畫的仿真實(shí)驗(yàn)平臺(tái)，實(shí)現(xiàn)了語音驅(qū)動(dòng)唇形同步動(dòng)畫的可視效果仿真。實(shí)驗(yàn)仿真結(jié)果表明，本文所建立的基于參數(shù)控制的語音驅(qū)動(dòng)人臉唇形同步動(dòng)畫系統(tǒng)，以真人語音作為人臉動(dòng)畫驅(qū)動(dòng)源，更具真實(shí)感，且有效地實(shí)現(xiàn)了語音與唇形的實(shí)時(shí)同步，大大簡化了動(dòng)畫制作、