發(fā)音質(zhì)量自動評測技術(shù)研究.pdf

1、發(fā)音質(zhì)量的自動評測（以下簡稱“評測”）是一種學生按照指定文本發(fā)音，計算機根據(jù)發(fā)音質(zhì)量反饋出分數(shù)的技術(shù)。它的目標是賦予計算機擔任虛擬教師的能力，對學生的發(fā)音質(zhì)量進行公正、客觀、高效的評測，緩解專業(yè)口語教師嚴重稀缺的問題。在學習上，它能幫助學生更好的了解發(fā)音水平，提高口語學習效率和促進自學的進行；在考試上，它能輔助或者代替人工進行口語考試的閱卷，大幅提升閱卷效率及質(zhì)量。因此，評測技術(shù)日益成為語音信號處理和現(xiàn)代教育的研究熱點。在評測技術(shù)的研究

2、中，幀規(guī)整對數(shù)后驗概率（以下簡稱“后驗概率”）是目前公認的最能反映發(fā)音質(zhì)量的量化的測度。然而，本文對后驗概率測度進行了全面的分析，指出其存在著如下兩個重大缺陷：
　　 第一、不同音素的后驗概率測度不能一致的描述音素的發(fā)音質(zhì)量；
　　 第二、聲學模型是后驗概率計算的重要依據(jù)，而目前人們使用的語音識別的聲學建模方式難以滿足評測的要求。本文工作圍繞上述兩個問題展開，在評分特征提取、評測聲學建模兩方面均有創(chuàng)新。本文主要研究工作和

3、成果概述如下：
　　 首先，本文提出了可訓練的音素相關(guān)的后驗概率變換算法。本文證明了即使在擁有無窮數(shù)據(jù)的情況下，受到概率空間的影響，不同音素的后驗概率測度仍然不能一致的描述音素發(fā)音質(zhì)量。為彌補上述缺陷，本文提出了音素相關(guān)的后驗概率變換方法。音素相關(guān)的變換根據(jù)最小化機器分與人工分均方誤差準則訓練得到，在測試時，通過對不同的音素的后驗概率測度進行相應的變換，可使得變換后的測度能更一致的描述音素的發(fā)音質(zhì)量。本文研究了線性變換和非線性s

4、igmoid變換，推導并給出線性變換的顯式全局最優(yōu)解（線性回歸），和非線性sigmoid變換的梯度下降優(yōu)化算法。實驗表明兩類變換均能帶來顯著的評測性能改善。
　　 然后，本文提出了全新的面向評測任務的聲學建模算法。聲學模型是后驗概率的重要依據(jù)，而評測技術(shù)的研究源于語音識別，因此至今人們?nèi)圆捎谜Z音識別的建模方法，所得到的仍是“語音識別聲學模型”。而該方法忽略了評測任務的特點，存在難以避免的訓練和測試不匹配的問題：若引入非標準發(fā)音參

5、與聲學模型訓練，會導致聲學模型“包容”非標準發(fā)音，嚴重影響系統(tǒng)性能；若僅采用標準發(fā)音進行聲學模型訓練，所得到的標準聲學模型（通常稱為Golden聲學模型）與測試的非標準發(fā)音不匹配，難以精確描述實際測試中的方言發(fā)音的發(fā)音質(zhì)量。因此，本文提出了全新的針對發(fā)音質(zhì)量評測的聲學模型訓練算法。算法根據(jù)最小化訓練集機器分與人工分均方誤差準則（MMSE準則），利用覆蓋各種發(fā)音質(zhì)量的數(shù)據(jù)訓練得到“評測聲學模型”，能有效的彌補語音識別聲學模型的缺陷。同時，

6、該算法根據(jù)評測常用的后驗概率設(shè)計，因此可以與音素相關(guān)后驗概率變換、優(yōu)化的概率空間等策略無縫的融合。實驗表明，無論在全概率空間、優(yōu)化概率空間還是音素相關(guān)的后驗概率變換的配置下，相比語音識別聲學模型，評測聲學模型均有著顯著的優(yōu)勢。本章研究證實了在評測任務中引入各種發(fā)音質(zhì)量的數(shù)據(jù)，并在人工分的指導下訓練聲學模型的必要性。
　　 接下來，本文提出基于評測性映射變換(EMT)的無監(jiān)督聲學模型自適應算法。本文對評測聲學模型性質(zhì)進行了深入分析

7、，并指出由于最大似然估(MLE)計及最大后驗概率(MAP)準則與MMSE準則不一致，導致難以直接對評測聲學模型進行有效的無監(jiān)督自適應。因此，本文放棄了直接訓練評測聲學模型的思路，提出一種全新的基于EMT間接的評測聲學建模方法。類似的，EMT仍然是利用各種發(fā)音質(zhì)量的數(shù)據(jù)，根據(jù)MMSE準則訓練得到，因此EMT具有與評測任務緊密相聯(lián)的性質(zhì)（即“評測性”）。在測試時，首先通過少量當前說話人數(shù)據(jù)，利用MLE/MAP準則進行聲學模型自適應，在此基礎(chǔ)

8、上應用EMT，可將這種“評測性”映射至聲學模型上，得到說話人相關(guān)的評測聲學模型。該方法能有效的將無監(jiān)督自適應中MLE/MAP自適應準則和聲學模型訓練中針對評測建模的各自優(yōu)勢完美的結(jié)合。實驗證實了在不做自適應的系統(tǒng)中，利用EMT的間接建模方法能在一定程度上取代直接訓練評測聲學模型的方法；在做自適應的系統(tǒng)中，系統(tǒng)性能得到進一步提升。
　　 最后，本文對EMT訓練算法進行了完善，將具體評測系統(tǒng)融入EMT的訓練中，并提出EMT訓練統(tǒng)一框

9、架。研究表明EMT訓練所依賴的人工分還包含了與后驗概率測度無關(guān)的發(fā)音流暢度、完整度的評測；另一方面，評測系統(tǒng)種類繁多，MMSE的難以滿足多數(shù)評測任務的要求。為解決上述問題，本文提出將具體的評測系統(tǒng)融入EMT的訓練的方法。在推導過程中，本文發(fā)現(xiàn)不同的評測系統(tǒng)的個性，即評分目標、評分特征、評分算法等，僅影響“音素斜率”的計算，因此，在得到訓練集中所有音素的斜率后，我們可采用統(tǒng)一的方法完成EMT的訓練。本文將其命名為EMT訓練統(tǒng)一框架。EMT