三維人臉唇形動畫的語音驅(qū)動研究.pdf

1、語音驅(qū)動的唇形動畫屬于人臉動畫技術(shù)范疇,具有真實(shí)感的可視化語音合成技術(shù)已成為人機(jī)接口、虛擬主播與人工智能等領(lǐng)域的研究熱點(diǎn),可廣泛用于視頻教學(xué)、電影動畫、虛擬社區(qū)等。
　　 本文主要研究基于三維網(wǎng)格模型的語音驅(qū)動唇形動畫技術(shù),重點(diǎn)研究了兩個(gè)關(guān)鍵問題,(1)特定人的可視化語音與唇形同步技術(shù)。采用基于數(shù)據(jù)驅(qū)動的唇形合成方法,獲得真實(shí)自然的唇形動畫效果;(2)非特定人的語音唇形同步動畫技術(shù)。利用BP神經(jīng)網(wǎng)絡(luò)研究語音驅(qū)動唇形動畫。該方法運(yùn)

2、算量較小,可操作性較強(qiáng),能夠達(dá)到較理想的語音唇形動畫效果。本文主要工作有如下幾個(gè)方面:
　　 1.采集不同人的語音資料,建立語音庫;研究與分析漢語的發(fā)音特征以及發(fā)音規(guī)律,分析唇形運(yùn)動狀態(tài)以將具有相似運(yùn)動狀態(tài)的唇形進(jìn)行歸類,建立口型庫。
　　 2.基于特定人的語音可視化合成算法的研究,提取唇形的特征參數(shù)值,對唇形樣本進(jìn)行分類與聚類處理,形成基本的唇形類別,對語音進(jìn)行分幀處理以提取語音的特征參數(shù)(MFFC),建立語音幀與唇形

3、類別的映射關(guān)系,建立訓(xùn)練模型以訓(xùn)練樣本數(shù)據(jù),最終合成與語音幀相同步的唇形幀,經(jīng)平滑處理后達(dá)到真實(shí)動畫效果。
　　 3.非特定人的語音驅(qū)動唇形動畫的研究,依據(jù)漢字音節(jié)特征以及聲韻母與唇形類別間的映射關(guān)系,構(gòu)建一個(gè)三層的BP網(wǎng)絡(luò)模型進(jìn)行學(xué)習(xí)訓(xùn)練。在實(shí)時(shí)語音驅(qū)動唇形動畫過程中,首先對語音信號進(jìn)行端點(diǎn)檢測,將噪音段與無音段直接對應(yīng)閉合的唇形狀態(tài),然后提取有效語音的底層特征參數(shù),經(jīng)過BP網(wǎng)絡(luò)模型處理,生成與實(shí)時(shí)語音幀對應(yīng)的唇形狀態(tài)幀,以顯