發(fā)音器官的運(yùn)動(dòng)與聲學(xué)信號(hào)之間映射關(guān)系的研究.pdf

1、發(fā)音器官的運(yùn)動(dòng)與聲學(xué)信號(hào)之間映射關(guān)系的研究AStudyoftheMappingbetweenArticulationsandAcoustics學(xué)科專業(yè)：研究生：指導(dǎo)教師：天津大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院2015年12月中文摘要建立發(fā)音器官運(yùn)動(dòng)與語音信號(hào)間的映射關(guān)系對(duì)于發(fā)音訓(xùn)練以及言語矯正有著很重要的作用。本文通過語音記錄儀記錄中文六個(gè)元音(口J0，巴fJ％2：f)發(fā)音時(shí)的語音信號(hào)，利用超聲儀記錄發(fā)音時(shí)舌頭運(yùn)動(dòng)的信息，使用高速攝像頭記錄發(fā)音運(yùn)

2、動(dòng)時(shí)唇部正面和側(cè)面的信息，從而形成了一個(gè)中文元音多模態(tài)語音數(shù)據(jù)庫。本文提出了一個(gè)基于深度學(xué)習(xí)框架的發(fā)音器官運(yùn)動(dòng)與聲學(xué)信號(hào)間的雙向映射方法。利用基于受限玻爾茲曼機(jī)的深度自編碼網(wǎng)絡(luò)方法對(duì)發(fā)音器官運(yùn)動(dòng)信息與聲學(xué)信號(hào)進(jìn)行了特征提取與重構(gòu)。重構(gòu)結(jié)果發(fā)現(xiàn)，對(duì)于超聲圖像，基于深度學(xué)習(xí)的特征提取的方法比主成分分析的方法要好；音頻信號(hào)也能夠利用深度白編碼網(wǎng)絡(luò)的方法來表征。然后，我們提出了一個(gè)基于深度學(xué)習(xí)的框架實(shí)現(xiàn)兩者間的映射關(guān)系，該框架是通過深度降噪自編