語(yǔ)音驅(qū)動(dòng)虛擬說(shuō)話(huà)人研究.pdf

1、語(yǔ)音驅(qū)動(dòng)虛擬說(shuō)話(huà)人技術(shù)指的是通過(guò)輸入語(yǔ)音信息生成虛擬人面部動(dòng)畫(huà)。不僅提高用戶(hù)對(duì)語(yǔ)音的理解度，而且提供一種真實(shí)、友好的人機(jī)交互方式。隨著該技術(shù)的發(fā)展進(jìn)步，勢(shì)必為我們帶來(lái)更多新的人機(jī)交互體驗(yàn)，極大豐富我們的日常生活。
　　本文采用兩種方案研究語(yǔ)音驅(qū)動(dòng)虛擬說(shuō)話(huà)人動(dòng)畫(huà)合成，并對(duì)其進(jìn)行分析對(duì)比。第一種方案，基于深度神經(jīng)網(wǎng)絡(luò)的語(yǔ)音驅(qū)動(dòng)發(fā)音器官運(yùn)動(dòng)合成。第二種方案，基于MPEG-4的語(yǔ)音驅(qū)動(dòng)虛擬說(shuō)話(huà)人動(dòng)畫(huà)合成。這兩種方案均需要找到相應(yīng)的語(yǔ)料庫(kù)，

2、并對(duì)其進(jìn)行提取構(gòu)建出適合本研究問(wèn)題的聲視覺(jué)數(shù)據(jù)。第一種方案:語(yǔ)音的產(chǎn)生與聲道發(fā)音器官的運(yùn)動(dòng)直接相關(guān)，如唇部、舌頭和軟腭的位置與移動(dòng)。通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)語(yǔ)音特征參數(shù)與發(fā)音器官位置信息兩者之間的映射關(guān)系，系統(tǒng)根據(jù)輸入的語(yǔ)音數(shù)據(jù)估計(jì)出發(fā)音器官的運(yùn)動(dòng)軌跡，并將其體現(xiàn)在一個(gè)三維的虛擬人上面。首先，在一系列參數(shù)下對(duì)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)和深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，D

3、NN)的實(shí)驗(yàn)結(jié)果，得到最優(yōu)網(wǎng)絡(luò);其次，設(shè)置不同上下文語(yǔ)音特征參數(shù)長(zhǎng)度并調(diào)整隱藏層單元數(shù)，獲取最佳的上下文長(zhǎng)度;最后，選取最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，由最優(yōu)網(wǎng)絡(luò)輸出的發(fā)音器官運(yùn)動(dòng)軌跡信息控制發(fā)音器官運(yùn)動(dòng)合成，實(shí)現(xiàn)虛擬人動(dòng)畫(huà)合成。第二種方案:基于MPEG-4的語(yǔ)音驅(qū)動(dòng)虛擬說(shuō)話(huà)人動(dòng)畫(huà)合成的方法是一種數(shù)據(jù)驅(qū)動(dòng)方法。首先，本論文從LIPS2008數(shù)據(jù)庫(kù)中提取構(gòu)建出適合本論文的聲視覺(jué)語(yǔ)料庫(kù)。然后，使用BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)的方法學(xué)習(xí)語(yǔ)音