聲學模型區(qū)分性訓練及其在自動語音識別中的應用.pdf

1、聲學模型區(qū)分性訓練已經(jīng)成為當今主流語音識別系統(tǒng)中最重要的模型訓練手段之一。與此同時，對區(qū)分性訓練準則、模型優(yōu)化算法以及應用性方法的研究，也日益引起越來越多研究者的重視。在這一背景下，本文圍繞聲學模型區(qū)分性訓練及其在自動語音識別中的應用，進行了較系統(tǒng)而深入的研究。并且在準則、優(yōu)化與應用三個方面都有一定的創(chuàng)新。 首先，本文提出了一種新的區(qū)分性訓練準則，即最小詞分類錯誤MWCE準則。通過將傳統(tǒng)基于句子級的MCE損失代價函數(shù)細化到詞一級

2、，MWCE準則嘗試估計并最小化一個更直接的詞級分類錯誤度量。由于這一詞級錯誤度量更能夠匹配大詞匯量連續(xù)語音識別的目標，即降低詞錯誤率，因此也就能夠取得比句子級訓練準則更好的識別性能。與其它的一些次句級區(qū)分性訓練準則(如MWE、MPE)相比，MWCE準則提供了對詞級錯誤的一個全新角度的表達，并在我們的實驗中取得了更優(yōu)的識別性能。這顯示從訓練準則上繼續(xù)尋找物理意義更為明確合理的目標來進行優(yōu)化，仍具有重要的意義。 其次，本文提出了一種

3、新的區(qū)分性訓練模型參數(shù)更新算法，即MMIE準則基于Trust Region的模型參數(shù)更新。通過在參數(shù)更新過程中引入Trust Region約束，我們使用一種在數(shù)學上更為合理、物理意義上更為明確的方式來避免傳統(tǒng)EB方法中無界優(yōu)化問題的一些局限。同時，由于在每次迭代優(yōu)化中我們都可以得到輔助函數(shù)在約束條件下的全局最優(yōu)解，因此對準則更新的效率也就更高。實驗證明，MMIE準則基于Trust Region的模型參數(shù)更新在準則優(yōu)化與識別性能提升兩方面

4、都超過了傳統(tǒng)的EB模型參數(shù)更新方法。 第三，本文提出了對軟分類邊緣估計SME的一些完善和改進方法。通過將區(qū)分性訓練領域近年來的一些重要技術引入，我們首次實現(xiàn)了句子級SME估計在大詞匯量連續(xù)語音識別中的成功應用。接著，我們進一步提出SME估計下的幀級區(qū)分性訓練方法，通過定義合理的分割度量，在幀尺度上對包含重要區(qū)分性信息的訓練樣本進行篩選。我們在實驗中對比了傳統(tǒng)MCE準則、句子級SME估計，以及幀級SME估計的性能。結果表明，由于引

5、入了Soft Margin的概念，兩種SME估計都能夠取得超越MCE準則的性能。而我們提出的幀級SME估計在引入抑制噪聲樣本的參數(shù)后可以取得最好的、明顯超過傳統(tǒng)MCE準則的識別性能。 最后，本文提出了一種區(qū)分性訓練的應用性方法，即基于MMIE準則的HMM模型拓撲結構優(yōu)化方法。我們根據(jù)MMIE準則定義出指導模型結構優(yōu)化的啟發(fā)性度量，嘗試在各個HMM狀態(tài)間“交換”高斯核以實現(xiàn)各狀態(tài)混合高斯成份數(shù)目的非均勻分配。此外，還對高斯核交換完