發(fā)音的3D可視化研究.pdf

1、人際語言交流是一個多模態(tài)信息處理過程。除了承載語義信息的語音以外，人的面部表情和肢體動作也對語言的理解和交流起到一定的作用。認(rèn)知心理學(xué)的實驗結(jié)果表明，相比于單一的聽覺輸入，來自聽覺、視覺的多模態(tài)信息對于語音的理解具有很大的作用。特別值得一提的是，對于有聽力障礙的人而言，有效的唇讀和對說話者面部表情和肢體語言的把握可以幫助他們準(zhǔn)確地推斷、理解說話者的意圖。此外，對于語言學(xué)習(xí)者而言，了解發(fā)音時唇部、上下顎以及舌頭等發(fā)音器官的運(yùn)動狀況等信息，

2、對于提高語言的學(xué)習(xí)效果具有指導(dǎo)意義。
　　本研究以發(fā)音的3D可視化為研究主線，以人機(jī)語音交互為研究背景，從理論、方法和系統(tǒng)三個層面探討發(fā)音器官的3D可視化問題，重點(diǎn)研究相關(guān)的發(fā)音器官建模、運(yùn)動模擬和發(fā)音的準(zhǔn)確性評估等問題。希望通過研究，構(gòu)建一個可以產(chǎn)生同步語音動畫的可視化三維虛擬人頭及其口腔系統(tǒng)。選題對于發(fā)音的3D可視化、語言教學(xué)乃至人機(jī)交互都將起到積極的推進(jìn)作用，具有重要的理論意義和潛在的應(yīng)用前景。
　　論文的主要研究內(nèi)容

3、和創(chuàng)新點(diǎn)如下:
　　1.針對口腔內(nèi)發(fā)音器官非完全可見或完全非可見的情況，從發(fā)音器官可視化的角度出發(fā)，研究了口腔內(nèi)發(fā)音器官的建模和運(yùn)動模擬問題。首先采用醫(yī)學(xué)影像技術(shù)獲取這些發(fā)音器官的形狀數(shù)據(jù)，然后通過對矢狀位與橫斷位多層切面的核磁共振圖像（MRI）進(jìn)行預(yù)處理和形狀網(wǎng)格化操作獲得其三維靜態(tài)表觀模型，并根據(jù)發(fā)音器官是否可形變的特點(diǎn)，給出相應(yīng)的運(yùn)動模擬方法。具體言之，對于牙齒、硬腭以及下顎這些在發(fā)音過程中僅產(chǎn)生微小形變，甚至不產(chǎn)生形變的發(fā)

4、音器官，將其看作剛體并進(jìn)行運(yùn)動模擬;而對于舌頭、軟腭這些在發(fā)音過程中產(chǎn)生大量形變的發(fā)音器官，則引入彈簧網(wǎng)模型來模擬其形變效果，并利用采集的Electromagnetic Articulography(EMA)數(shù)據(jù)來驅(qū)動和控制其運(yùn)動。最終，通過實驗實現(xiàn)了漢語發(fā)音的發(fā)音器官運(yùn)動模擬。
　　2.針對發(fā)音器官在運(yùn)動模擬過程中可能出現(xiàn)的相互穿越問題，提出了一種可有效應(yīng)用于口腔內(nèi)可形變發(fā)音器官的碰撞檢測和處理的方法。根據(jù)需要將可形變發(fā)音器官產(chǎn)

5、生的碰撞細(xì)分為可形變發(fā)音器官與非可形變發(fā)音器官之間產(chǎn)生的碰撞以及可形變發(fā)音器官與可形變發(fā)音器官之間產(chǎn)生的碰撞。碰撞檢測和響應(yīng)過程如下所示。首先通過計算當(dāng)前發(fā)音器官表面網(wǎng)格上的點(diǎn)與其余發(fā)音器官表面網(wǎng)格上的點(diǎn)的交點(diǎn)來判斷碰撞是否發(fā)生，并在碰撞發(fā)生時計算碰撞發(fā)生的位置。然后，對碰撞進(jìn)行處理。為了避免由于運(yùn)動模擬而導(dǎo)致的發(fā)音器官之間可能出現(xiàn)的相互穿越現(xiàn)象，給出了一種快速的碰撞響應(yīng)方法，有效解決了發(fā)音器官之間可能出現(xiàn)的相互穿越問題。所進(jìn)行的舌頭和

6、嘴唇的碰撞實驗驗證了上述方法的有效性。
　　3.發(fā)音器官運(yùn)動準(zhǔn)確性評估是3D發(fā)音可視化研究的難點(diǎn)。本文從主、客觀兩個方面對運(yùn)動模擬結(jié)果進(jìn)行了全面而細(xì)致的評估，提出了一種基于輪廓比較的發(fā)音器官運(yùn)動準(zhǔn)確性客觀評估方法。該方法通過對醫(yī)學(xué)影像中發(fā)音器官進(jìn)行自動標(biāo)定和手工修正來獲得其輪廓信息，并將該輪廓信息與合成得到的發(fā)音器官每一時刻下的輪廓信息進(jìn)行比較，克服了傳統(tǒng)的基于EMA數(shù)據(jù)的方法無法給出每一時刻下可形變發(fā)音器官輪廓信息的缺陷。實驗結(jié)

7、果表明，本方法可以實現(xiàn)更加全面而有效的評估效果，較好解決了發(fā)音器官運(yùn)動準(zhǔn)確性評估問題。
　　4.設(shè)計并實現(xiàn)了一個可以產(chǎn)生同步語音動畫的3D可視化虛擬發(fā)音人系統(tǒng)。該系統(tǒng)基于C++與OpenGL而開發(fā)，并利用NDI Wave設(shè)備采集的EMA數(shù)據(jù)來驅(qū)動發(fā)音器官，不僅可以產(chǎn)生語音同步的人臉動畫，而且可以展示與所發(fā)語音對應(yīng)的口腔內(nèi)發(fā)音器官的運(yùn)動過程。同時，系統(tǒng)還將虛擬人頭部的表觀模型和嘴唇的運(yùn)動模型集成在內(nèi)，實現(xiàn)了更友好的人機(jī)交互界面。對系