資源受限情況下基于ASR的關(guān)鍵詞檢索研究.pdf

1、基于自動(dòng)語(yǔ)音識(shí)別(Automatic Speech Recognition，ASR)的檢索技術(shù)是關(guān)鍵詞檢索(Spoken Term Detection，STD)的主流技術(shù)，資源受限情況下(Limited-resource Conditions)的關(guān)鍵詞檢索是當(dāng)前STD重要的研究方向。本論文針對(duì)該領(lǐng)域的一些關(guān)鍵技術(shù)問(wèn)題進(jìn)行研究，主要集中在三個(gè)方面:首先在聲學(xué)模型訓(xùn)練方法上進(jìn)行研究，采用多種途徑提高資源受限情況下的語(yǔ)音識(shí)別性能;其次，在不引

2、入過(guò)多虛警的情況下，減少資源受限情況下關(guān)鍵詞檢索的漏警;最后，提升候選結(jié)果的置信度，改善檢索性能。
　　基于ASR的關(guān)鍵詞檢索非常依賴于語(yǔ)音識(shí)別的性能，而資源受限情況下的ASR的性能非常差，這極大地影響了STD的性能。針對(duì)這一問(wèn)題，本文在聲學(xué)模型訓(xùn)練方法上進(jìn)行研究，采用多種方法提高ASR系統(tǒng)的識(shí)別率。本文中采用主流的深層神經(jīng)網(wǎng)絡(luò)(DNN)來(lái)建立聲學(xué)模型，首先利用數(shù)據(jù)驅(qū)動(dòng)的方法自動(dòng)生成模型訓(xùn)練所需要的問(wèn)題集;其次為了緩解因數(shù)據(jù)不足而

3、造成的過(guò)擬合問(wèn)題，使用跨語(yǔ)種共享隱層的策略來(lái)提高DNN的魯棒性;并通過(guò)聲道長(zhǎng)度擾動(dòng)(VTLP)和數(shù)據(jù)加噪等數(shù)據(jù)擴(kuò)充的方法，增加訓(xùn)練數(shù)據(jù)。最后，采用DNN序列-區(qū)分性訓(xùn)練(SDT)的方法，如基于最大互信息量(MMI)、最小狀態(tài)級(jí)貝葉斯風(fēng)險(xiǎn)(sMBR)等準(zhǔn)則，進(jìn)一步優(yōu)化聲學(xué)模型，提高資源受限情況下ASR系統(tǒng)的性能。
　　在STD評(píng)估中，漏警和虛警是檢索中常見的兩種錯(cuò)誤。而在實(shí)際的檢索任務(wù)中，漏掉一個(gè)關(guān)鍵詞的代價(jià)通常比引入一個(gè)虛警的代價(jià)

4、要大。因此，對(duì)于STD系統(tǒng)，在不引入過(guò)多虛警的情況下，有效減少漏警至關(guān)重要。本文中，我們對(duì)資源受限情況下DNN聲學(xué)模型的類概率分布進(jìn)行研究，提出兩種不同的平滑策略來(lái)降低STD的漏警，并采用關(guān)鍵詞相關(guān)門限的判決方法控制虛警，改善檢索性能。
　　由于ASR不可避免地出現(xiàn)錯(cuò)誤，STD需要根據(jù)候選結(jié)果的檢索置信度做進(jìn)一步的判決。通常情況下，單一系統(tǒng)的檢索置信度可靠性較低，這一問(wèn)題在資源受限的情況下尤為突出。為此，本文采用不同檢索單元融合及

5、多系統(tǒng)融合的策略，提升候選結(jié)果的置信度。在本文中，我們首先研究CN和FST這兩種不同的檢索單元的各自特點(diǎn)并按照不同的檢索詞長(zhǎng)度將二者進(jìn)行融合，各取所長(zhǎng)，以提高STD的性能。隨后在多系統(tǒng)融合中，我們將DNN-HMM和BN-GMM-HMM兩種不同的識(shí)別系統(tǒng)以及詞、音節(jié)、詞片和音素四種不同的解碼單元進(jìn)行融合，進(jìn)一步改善檢索性能。
　　使用這些改進(jìn)方法，本文在藏語(yǔ)數(shù)據(jù)庫(kù)和NIST OpenKWS2014泰米爾語(yǔ)(Tamil)數(shù)據(jù)庫(kù)上進(jìn)行了