基于神經網絡的統(tǒng)計參數語音合成方法研究.pdf

1、語音合成旨在將輸入文本轉換成自然流暢的語音。統(tǒng)計參數語音合成(Statistical Parametric Speech Synthesis，SPSS)具有系統(tǒng)構建自動化程度高、存儲尺寸小、靈活性強等優(yōu)點，已成為目前構建語音合成系統(tǒng)的主流方法。傳統(tǒng)基于隱馬爾科夫模型(Hidden Markov Model，HMM)的統(tǒng)計參數語音合成方法能夠生成連續(xù)平穩(wěn)流暢且可懂度高的語音，但生成的語音頻譜通常過于平滑，這導致合成語音音質下降，與自然語音

2、仍有較大差距。
　　近些年來，深度學習作為機器學習的一個分支發(fā)展迅速。深度學習通常指采用多層人工神經網絡進行建模的方法，在圖像識別、計算機視覺、自然語音處理、自動語音識別等任務上均取得了相比傳統(tǒng)方法的顯著效果提升。在統(tǒng)計參數語音合成中，深度學習方法在聲學建模、特征提取、后濾波、波形生成等模塊中均取得了成功應用，逐漸取代HMM方法成為現階段統(tǒng)計參數語音合成的研究熱點。
　　本文圍繞基于神經網絡的統(tǒng)計參數語音合成方法，從基于深度

3、學習的頻譜表征和聲學模型構建兩個方面開展研究工作。在頻譜表征方面，將深度學習模型引入頻譜特征提取過程，分別提出了基于深度信念網絡(Deep Belief Network，DBN)、卷積神經網絡(Convolutional Neural Network，CNN)以及二值隱層深度自編碼器(Deep Auto-Encoder with Binary distributed hidden units,BDAE)的頻譜表征方法;在聲學建模方面，對

4、傳統(tǒng)訓練準則進行改進，提出了基于生成對抗網絡(Generative Adversarial Network，GAN)的聲學建模方法。具體包括:
　　首先，針對傳統(tǒng)頻譜表征中梅爾倒譜(mel-cepstrum)提取過程缺乏對于譜包絡的非線性處理能力、預測頻譜過平滑的問題，本文提出了基于深度信念網絡的頻譜表征方法。該方法使用無監(jiān)督訓練的DBN對語音的譜包絡進行建模，以DBN的最高隱層采樣作為語音的頻譜表征進行聲學建模，緩解了合成語音的

5、過平滑問題。
　　其次，針對現有頻譜表征方法對語音頻譜包絡中的共振峰等局部結構缺乏關注的問題，本文提出了基于卷積神經網絡的頻譜表征方法?？紤]到CNN對樣本局部結構的檢測提取能力，該方法使用基于CNN的自編碼器對頻譜包絡中共振峰等局部結構的強度和位置表征進行提取，并在語音合成系統(tǒng)中分別對其建模。該方法可以較好的還原語音頻譜中的局部結構，提升了合成語音音質。
　　再次，針對現有頻譜表征方法中頻譜特征提取與聲學建模相互獨立、缺乏統(tǒng)

6、一考慮的問題，本文提出了基于二值隱層深度自編碼器的頻譜表征方法。該方法通過約束深度自編碼器隱層節(jié)點接近二值分布，降低了所提取頻譜特征的模型預測誤差對于最終恢復的頻譜包絡的影響，緩解了聲學建模所帶來的頻譜平滑效應。多個數據集上的實驗結果表明，該方法可以顯著提高語音合成的音質。
　　最后，針對傳統(tǒng)最大似然以及最小均方誤差訓練準則導致的聲學模型統(tǒng)計平滑效應，本文提出了基于生成對抗網絡的聲學建模方法。該方法將低維倒譜和文本特征同時作為條件