面向漢英專利文獻(xiàn)的神經(jīng)網(wǎng)絡(luò)翻譯模型的集外詞翻譯研究.pdf

1、機(jī)器翻譯(Machine Translation，MT)的目的是為源語言找到一個(gè)意思最為相近的目標(biāo)語言。從本質(zhì)上來看，機(jī)器翻譯完成的是一個(gè)序列到序列的任務(wù)。近年來隨著深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)在語音識別和圖像處理等方面取得突破性進(jìn)展，研究人員開始著手使用深度神經(jīng)網(wǎng)絡(luò)處理符號變量方面的問題，例如自然語言處理領(lǐng)域的機(jī)器翻譯任務(wù)。神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯(Neural Machine Translation，NMT

2、)包含編碼器和解碼器兩個(gè)神經(jīng)網(wǎng)絡(luò)，編碼器把源語言轉(zhuǎn)化成一個(gè)向量表示，解碼器根據(jù)源語言的向量表示加上目標(biāo)語言的歷史信息生成目標(biāo)語言的詞序列。為了控制計(jì)算復(fù)雜度，大多數(shù)的NMT系統(tǒng)會(huì)限制源語言和目標(biāo)語言的詞典大小，一般設(shè)置為三萬詞到八萬詞之間。對于不在詞典中的詞，也就是集外詞，使用符號“UNK”來代替。集外詞帶來幾個(gè)問題，一個(gè)是在測試過程中，模型不能夠生成合適的翻譯結(jié)果;另一個(gè)是集外詞導(dǎo)致源語言句子語義無法正確表示，加重翻譯結(jié)果的歧義現(xiàn)象;

3、第三個(gè)是訓(xùn)練語料中源語言和目標(biāo)語言句子結(jié)構(gòu)被嚴(yán)重破壞，神經(jīng)網(wǎng)絡(luò)參數(shù)質(zhì)量不高。在專利文獻(xiàn)語料中存在大量的低頻詞，導(dǎo)致這幾個(gè)問題更為嚴(yán)重。
　　本論文以專利文獻(xiàn)的集外詞翻譯為切入點(diǎn)，以中英神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯為主要研究方向，重點(diǎn)研究并提出了一種改善集外詞翻譯問題的方法，從而提高神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的效果。主要研究成果如下:
　　(1)引入統(tǒng)計(jì)機(jī)器翻譯中的對齊信息，以外部信息的形式加入語料庫詞典，當(dāng)出現(xiàn)集外詞時(shí)根據(jù)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中的注意