基于DNN的漢語(yǔ)語(yǔ)音識(shí)別聲學(xué)模型的研究.pdf

1、在傳統(tǒng)的語(yǔ)音識(shí)別聲學(xué)模型建模方法中，高斯混合模型（Guasian mixture model, GMM）一直占主導(dǎo)地位。然而，在實(shí)際應(yīng)用場(chǎng)景中，漢語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)的識(shí)別效果并不理想。另一方面，人工神經(jīng)網(wǎng)絡(luò)在早期也用于聲學(xué)模型建模，但在實(shí)際應(yīng)用中其效果不及高斯混合模型。深度學(xué)習(xí)是近年來(lái)受到研究學(xué)者廣泛關(guān)注的新興機(jī)器學(xué)習(xí)技術(shù)，該技術(shù)主要探討深度神經(jīng)網(wǎng)絡(luò)（Deep neural network, DNN）的建模與學(xué)習(xí)問(wèn)題，對(duì)復(fù)雜問(wèn)題具有很強(qiáng)

2、的建模能力。深度神經(jīng)網(wǎng)絡(luò)指的是具有多層隱藏層的表示非線性關(guān)系的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)已被成功應(yīng)用到與語(yǔ)音，文本和圖像數(shù)據(jù)相關(guān)的問(wèn)題。
　　本課題首先結(jié)合三元文法語(yǔ)言模型建立了一個(gè)上下文相關(guān)的高斯混合模型——隱馬爾可夫模型漢語(yǔ)連續(xù)語(yǔ)音識(shí)別基準(zhǔn)系統(tǒng)，重點(diǎn)分析了模型訓(xùn)練過(guò)程中涉及的相關(guān)問(wèn)題。另外本文還構(gòu)建了兩個(gè)使用了深度神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)。其中一個(gè)系統(tǒng)基于深度神經(jīng)網(wǎng)絡(luò)——隱馬爾可夫模型結(jié)構(gòu)，在該系統(tǒng)中，使用深度神經(jīng)網(wǎng)絡(luò)描述給定

3、語(yǔ)音信號(hào)觀測(cè)特征時(shí)隱馬爾可夫模型中不可觀測(cè)狀態(tài)的分布模型。在訓(xùn)練該系統(tǒng)的聲學(xué)模型時(shí)，利用一種迭代貪婪訓(xùn)練算法進(jìn)行訓(xùn)練，使用該算法能利用大量的無(wú)標(biāo)簽訓(xùn)練語(yǔ)料，并且可以使用預(yù)處理方法初始化深度神經(jīng)網(wǎng)絡(luò)中的權(quán)重，以幫助目標(biāo)函數(shù)的優(yōu)化，降低泛化誤差。另外一個(gè)為基于深度神經(jīng)網(wǎng)絡(luò)的Tandem語(yǔ)音識(shí)別系統(tǒng)，該技術(shù)利用深度神經(jīng)網(wǎng)絡(luò)對(duì)語(yǔ)音數(shù)據(jù)作特征提取，并將新的特征向量作為漢語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)的輸入特征向量。
　　實(shí)驗(yàn)結(jié)果顯示，基于深度神經(jīng)網(wǎng)絡(luò)的