語(yǔ)音識(shí)別中神經(jīng)網(wǎng)絡(luò)聲學(xué)模型的說(shuō)話人自適應(yīng)研究.pdf

1、近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)技術(shù)在自動(dòng)語(yǔ)音識(shí)別(Auto Speech Recognition，ASR)中取得了重大的突破，相比于傳統(tǒng)的高斯混合模型(Gaussian Mixture Model，GMM)顯著地提升了系統(tǒng)的識(shí)別性能。然而，像其他監(jiān)督學(xué)習(xí)方法一樣，DNN容易受到由于訓(xùn)練和測(cè)試條件不匹配導(dǎo)致的性能下降的影響，說(shuō)話人自適應(yīng)(Speaker Adaptation，SA)是為了解決說(shuō)話人差

2、異導(dǎo)致的不匹配問(wèn)題，在基于神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型上研究說(shuō)話人自適應(yīng)技術(shù)成為語(yǔ)音識(shí)別領(lǐng)域的一個(gè)熱門方向。本文分別從特征和模型的角度對(duì)說(shuō)話人自適應(yīng)方法進(jìn)行研究，對(duì)這些自適應(yīng)方法進(jìn)行融合和改進(jìn)，并深入探究基于卷積神經(jīng)網(wǎng)絡(luò)的說(shuō)話人自適應(yīng)方法，論文的主要研究工作如下:
　　首先，針對(duì)聲學(xué)模型中DNN對(duì)說(shuō)話人信息辨別能力差的情況，引入基于輔助特征的說(shuō)話人自適應(yīng)方法，將包含說(shuō)話人信息的特征與聲學(xué)特征拼接共同作為DNN的輸入，增強(qiáng)網(wǎng)絡(luò)對(duì)說(shuō)話人信息的感

3、知能力。實(shí)驗(yàn)結(jié)果表明，基于輔助特征的說(shuō)話人自適應(yīng)方法有助于提升網(wǎng)絡(luò)的區(qū)分能力，減小說(shuō)話人之間的差異性，進(jìn)而降低系統(tǒng)的單詞錯(cuò)誤率。
　　接著，深入研究基于學(xué)習(xí)性隱層單元分布(Learning Hidden Unit Contributions，LHUC)的模型域自適應(yīng)方法，并分別采取兩種策略對(duì)原方法進(jìn)行改進(jìn)。從自適應(yīng)方法之間的互補(bǔ)性角度出發(fā)，本文提出LHUC與輔助特征相融合的方法進(jìn)一步提升系統(tǒng)的識(shí)別性能。此外，為了解決自適應(yīng)階段的數(shù)

4、據(jù)稀疏問(wèn)題，多任務(wù)學(xué)習(xí)(Multi-task Learning，MTL)引入到LHUC自適應(yīng)中，它通過(guò)加入額外的音素分類任務(wù)作為輔助任務(wù)幫助自適應(yīng)參數(shù)更新。實(shí)驗(yàn)結(jié)果表明，基于融合的自適應(yīng)方法能夠有效地提升模型對(duì)特定說(shuō)話人的匹配程度，進(jìn)一步降低系統(tǒng)的單詞錯(cuò)誤率;基于MTL-LHUC的自適應(yīng)方法通過(guò)擴(kuò)大聲學(xué)空間的覆蓋范圍彌補(bǔ)了稀少的狀態(tài)分類問(wèn)題，在有限的自適應(yīng)數(shù)據(jù)條件下取得了更出色的性能提升。
　　最后，本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)（Convo

5、lutional Neural Network，CNN）框架的說(shuō)話人自適應(yīng)方法展開研究。為了利用LHUC這種具有諸多優(yōu)良特性的模型域自適應(yīng)方法，本文嘗試對(duì)該方法進(jìn)行改進(jìn)使之適用于CNN的聲學(xué)模型中，分別通過(guò)對(duì)比實(shí)驗(yàn)比較自適應(yīng)層置于卷積層、池化層以及輸入層的性能差異并證實(shí)該方法的有效性。同時(shí)，本文還提出一種基于i-vector的卷積層自適應(yīng)結(jié)構(gòu)，該方法通過(guò)一個(gè)變換矩陣將i-vector插入卷積層，新的卷積層結(jié)構(gòu)在提取局部信息的同時(shí)也能夠減