基于循環(huán)神經(jīng)網(wǎng)絡(luò)的蒙古文語(yǔ)言模型研究.pdf

1、語(yǔ)言模型是自然語(yǔ)言處理任務(wù)中的重要組成部分。其中，N-gram語(yǔ)言模型是目前應(yīng)用最為廣泛的統(tǒng)計(jì)語(yǔ)言模型。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，深度神經(jīng)網(wǎng)絡(luò)模型逐漸被應(yīng)用于語(yǔ)音識(shí)別中，它為研究者帶來(lái)新一輪的研究熱潮。神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型是其中比較重要的研究方向之一。
　　蒙古文語(yǔ)言模型對(duì)于蒙古語(yǔ)語(yǔ)音識(shí)別、蒙古文信息檢索和蒙古文機(jī)器翻譯等蒙古文信息處理技術(shù)的研究起著至關(guān)重要的作用?，F(xiàn)階段，神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型已被廣泛應(yīng)用于英文和漢文中，但是神經(jīng)

2、網(wǎng)絡(luò)語(yǔ)言模型在蒙古文中的使用還比較少。本文主要針對(duì)蒙古文神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型進(jìn)行研究。
　　蒙古文是一種在國(guó)際上有廣泛影響的語(yǔ)言文字。然而，在蒙古文文本語(yǔ)料中，存在大量的顯現(xiàn)形式相同但編碼不同的單詞，這給蒙古文單詞的統(tǒng)計(jì)和檢索等帶來(lái)了很大困難。
　　本文著重解決顯現(xiàn)形式相同但編碼不同蒙古文單詞的統(tǒng)計(jì)和檢索問(wèn)題，從而提高蒙古文語(yǔ)言模型的性能。首先，提出了采用中間字符對(duì)蒙古文顯現(xiàn)形式相同但編碼不同的字母進(jìn)行合并表示的方法;接著，分別

3、建立了基于拉丁字符的N-gram語(yǔ)言模型與基于中間字符的N-gram語(yǔ)言模型，以及基于拉丁字符的快速循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型(Faster Recurrent Neural Network Language Model，F(xiàn)RNNLM)與基于中間字符的FRNNLM;然后，實(shí)現(xiàn)了N-gram語(yǔ)言模型和FRNNLM融合的方法，得到了性能更好的語(yǔ)言模型;最后，用困惑度評(píng)價(jià)了蒙古文語(yǔ)言模型的性能，并將其應(yīng)用到蒙古語(yǔ)語(yǔ)音識(shí)別中進(jìn)行詞錯(cuò)誤率(Word E

4、rror Rate，WER)的比較。實(shí)驗(yàn)結(jié)果表明，基于中間字符的蒙古文文本語(yǔ)料的詞匯量比基于拉丁字符的語(yǔ)料平均減少了41％;基于中間字符的語(yǔ)言模型（3-gram、FRNNLM）比相應(yīng)基于拉丁字符的語(yǔ)言模型在困惑度方面下降了近40％，提高了蒙古文語(yǔ)言模型的性能。并且在蒙古語(yǔ)語(yǔ)音識(shí)別中，基于中間字符的語(yǔ)言模型（3-gram、FRNNLM、3-gram+FRNNLM）比相應(yīng)基于拉丁字符的語(yǔ)言模型在WER方面下降了近20％;3-gram+FRN