基于統(tǒng)計模式識別的發(fā)音錯誤檢測研究.pdf

1、隨著語音識別技術(shù)的進(jìn)展，計算機(jī)輔助語言學(xué)習(xí)系統(tǒng)的日趨智能化。為了提升計算機(jī)輔助語言學(xué)習(xí)系統(tǒng)的性能，其中一項核心技術(shù)就是高性能的發(fā)音錯誤檢測技術(shù)。基于發(fā)音錯誤檢測技術(shù)，系統(tǒng)可以生成針對性的改進(jìn)意見以及設(shè)計相應(yīng)的訓(xùn)練語料來有效改進(jìn)學(xué)習(xí)者的發(fā)音弱點，提高學(xué)習(xí)效率。本文在統(tǒng)計模式識別技術(shù)特別是統(tǒng)計語音識別技術(shù)的基礎(chǔ)上，對發(fā)音錯誤的分布、形成及表現(xiàn)都進(jìn)行了深入而細(xì)致的分析，并在分析的基礎(chǔ)上開展了聲學(xué)特征、聲學(xué)模型、檢錯算法、以及聲學(xué)模型空間等方面

2、的深入研究，最終在實現(xiàn)了對發(fā)音錯誤檢測問題本質(zhì)的深入認(rèn)識的同時，研發(fā)成功了高性能的普通話發(fā)音錯誤檢測技術(shù)。本論文的具體研究工作和研究成果概述如下： 首先，本論文在統(tǒng)計語音識別技術(shù)的基礎(chǔ)上，對自動發(fā)音錯誤檢測技術(shù)進(jìn)行了改進(jìn)。主要包括在聲學(xué)特征方面引入CMN、VTLN等各種技術(shù)，解決聲學(xué)模型和學(xué)習(xí)者聲學(xué)特征之間的不匹配問題；同時，針對聲學(xué)模型建模，引入語音識別中的基于BIC的模型壓縮策略，首次提出并實現(xiàn)基于發(fā)音錯誤檢測的BIC策略，

3、此策略通過為發(fā)音錯誤嚴(yán)重或聲學(xué)模型混淆嚴(yán)重的音素分配更多的參數(shù)來獲得更好的建模精度從而提升檢錯系統(tǒng)性能；然后，針對聲學(xué)模型與學(xué)習(xí)者的不匹配問題，引入語音識別領(lǐng)域中的較為成熟的自適應(yīng)技術(shù)——MLLR——對模型均值進(jìn)行了調(diào)整，大大降低了發(fā)音錯誤檢錯聲學(xué)模型與學(xué)習(xí)者之間的不匹配，從而提升了檢錯系統(tǒng)的性能；接著，本文借鑒并改進(jìn)了初始的后驗概率策略，提出基于發(fā)音錯誤混淆列表的修正的后驗概率策略來進(jìn)行發(fā)音錯誤檢測；最后，本文提出按照音素設(shè)置音素獨立

4、檢錯門限，取得了較好的檢錯性能。 其次，本文提出以錯誤發(fā)音先驗概率(Text-dependent Mispronunciation Prior Probability，TMPP)作為依托，重新形式化后驗概率的表達(dá)形式，從而無縫地把發(fā)音錯誤先驗概率這一信息融合到了后驗概率的計算當(dāng)中，這就是文本相關(guān)正確發(fā)音的后驗概率策略(Text-dependent Correct Pronunciation Posterior Probabili

5、ty,TCPP)。同時，為了解決錯誤發(fā)音先驗概率的0概率問題，借鑒語言模型訓(xùn)練方法，對0概率事件采取平滑操作。實驗結(jié)果表明，TCPP策略能夠達(dá)到甚至超過啟發(fā)式的運用錯誤發(fā)音特性的檢錯策略，并且給出了一種利用發(fā)音錯誤先驗概率的普適、有效的方法，同時這種策略能夠彌補(bǔ)啟發(fā)式方法的一些天然缺陷。 因此基于TCPP的檢錯策略是在后驗概率框架下的一種較好的發(fā)音錯誤解決方案。再次，本文通過調(diào)研語音識別中的置信度判別發(fā)現(xiàn)在置信度判別中通常有三種

6、策略，后驗概率只是其中的一種方法。還有一大類的方法是利用語音識別器得到的一些屬性作為置信度判別的輸入屬性，建立分類器進(jìn)行置信度判別。近年米的說話人識別研究表明，采用區(qū)分性的分類方法來解決檢驗問題是較好的策略。說話人識別中得到廣泛運用的SVM區(qū)分性分類方法取得了很好的效果。本文從理論上分析了發(fā)音錯誤檢測的特性，并指出后驗概率對于發(fā)音錯誤檢測的局限性，提出運用識別器輸出的針對文本與模型空間內(nèi)其它模型的似然比作為檢錯特征，從分類的角度來看到發(fā)

7、音錯誤檢測問題，引入SVM進(jìn)行區(qū)分性分類器訓(xùn)練，從而有效地運用了人工標(biāo)注數(shù)據(jù)信息以及識別器內(nèi)的細(xì)節(jié)信息，最終有效的提升了發(fā)音錯誤檢測性能。 然后，本文從發(fā)音錯誤檢測的角度出發(fā)，分析了以音素為單元的聲學(xué)模型對發(fā)音錯誤檢測的不足之處：這種聲學(xué)模型僅能較好的處理某音素明確的發(fā)音錯誤成了另一音素，而對于發(fā)音偏誤但沒有明確的錯誤成另一個音素或者是發(fā)音缺陷這些問題并不能很好的處理。本文指出必須要對發(fā)音錯誤和正確的各種情況進(jìn)行針對性的建模，然

8、后利用這些模型進(jìn)行錯誤檢測才能夠處理變化多端的發(fā)音錯誤。本文利用大量發(fā)音者實際數(shù)據(jù)(包括發(fā)音標(biāo)準(zhǔn)正確，發(fā)音有方言口音，發(fā)音口音嚴(yán)重等各種情況)通過無監(jiān)督的方法進(jìn)行數(shù)據(jù)聚類獲得各種發(fā)音的數(shù)據(jù)，然后進(jìn)行模型訓(xùn)練建立三套發(fā)音模型，分別針對發(fā)音標(biāo)準(zhǔn)正確，發(fā)音正常稍有口音，和發(fā)音口音嚴(yán)重這幾種情況，然后利用上面提及的SVM分類方法進(jìn)行發(fā)音錯誤檢測，與傳統(tǒng)的僅使用音素模型相比，實現(xiàn)了發(fā)音錯誤檢測性能的顯著提升。 最后，本文針對調(diào)型進(jìn)行了較深