基于深層神經網絡的語音識別聲學建模研究.pdf

1、語音識別的終極目標是使人與機器之間能夠像人與人之間一樣自如的交流。聲學模型性能的好壞直接影響到整個語音識別系統(tǒng)的準確性。過去幾十年，高斯混合模型-隱馬爾科夫模型(Gaussian Mixture Model-Hidden Markov Model，GMM-HMM)在語音識別聲學建模方法中一直起著主導作用。GMM-HMM框架由于具備較完善的理論體系，包括區(qū)分性訓練、自適應等成熟的配套算法，以及HTK等開源工具，而受到眾多研究者的追捧。近年

2、來，深度學習(DeepLearning)理論在機器學習領域興起，其對語音識別方向也產生了深遠影響。基于深度神經網絡-隱馬爾科夫模型(Deep Neural Network-Hidden Markov Model，DNN-HMM)的聲學模型混合建模方案迅速取代傳統(tǒng)的GMM-HMM框架，成為當前主流語音識別系統(tǒng)的標配，基于DNN-HMM新框架的相關算法研究也受到語音識別領域的廣泛關注。在這樣的背景下，本論文圍繞深度神經網絡聲學建模及其在自動

3、語音識別中的應用，進行了較系統(tǒng)而深入的研究。
　　首先，為了提升基于神經網絡的聲學建模的能力，本文分別從特征域和模型域兩個方面進行了探索。在特征域，本文借鑒傳統(tǒng)TANDEM的方法將神經網絡看成一種提取后驗概率特征的預處理器，并基于所提取的區(qū)分性特征進行GMM-HMM建模。本論文提出了一種基于競爭信息的TANDEM系統(tǒng)改進方法。具體來說，我們首先基于解碼過程中所生成的詞圖挑選訓練樣本的競爭信息，并基于該競爭樣本訓練相應的“競爭信息”

4、神經網絡，以對傳統(tǒng)的只基于正例進行神經網絡訓練的TANDEM算法起到增強作用。接著，在直接使用神經網絡作為聲學分類器的模型域方面，本文針對中文語音識別系統(tǒng)中的多流聲學特征，提出了一種中間層融合建模方案，該方案充分利用深度神經網絡結構和學習算法的特點，在深度神經網絡的中間某隱層進行多個特征流的中層特征融合，并在融合特征的基礎上繼續(xù)進行更高層網絡權重的學習。該算法在深度神經網絡的框架下有效的利用了多流特征的互補特性，提升了識別系統(tǒng)的性能。<

5、br>　　然后，本文在深度神經網絡聲學建模效率方面進行了深入的研究，以解決大規(guī)模語音數據聲學建模的可應用性問題。面向真實語音識別系統(tǒng)的海量訓練數據、深度神經網絡的超大規(guī)模模型參數、以及模型結構導致的傳統(tǒng)訓練算法不可并行性，使得深度神經網絡的訓練效率問題成為實用化語音識別系統(tǒng)的最大瓶頸。針對這樣的情況，我們分析了深度神經網絡的學習算法，找到影響其效率的主因，并針對這些原因提出了一種新穎的多個深層神經網絡聯合建模方案。通過將數據進行聚類，我

6、們可以分開獨立的并行訓練多個深層神經網絡來對各個聚類數據分別進行建模。這種建模方法在交叉熵準則下，相對普通單個深層神經網絡建模方法效率的提升是非常明顯，在實際的研究應用中具有重要意義。
　　最后，針對我們提出的多深層神經網絡聯合建模方案，我們進行了進一步的完善。為了驗證這一建?？蚣艿那袑嵖尚行?，同時解決其性能損失問題，我們在序列級區(qū)分性準則下進行了研究。序列級區(qū)分性準則可以看作是多DNN的一種聯合優(yōu)化策略，我們根據多DNN結構特點