基于深度神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)機(jī)器翻譯模型研究.pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的日益增多，網(wǎng)絡(luò)交互愈加頻繁，互聯(lián)網(wǎng)內(nèi)的資源呈現(xiàn)出爆發(fā)式的增長(zhǎng)。在此浪潮的沖擊之下，深度學(xué)習(xí)等基于大規(guī)模數(shù)據(jù)的方法被提出，且對(duì)于許多擱置不前的經(jīng)典任務(wù)，學(xué)者們開始從全新的角度加以思考。而本課題的研究方向就是對(duì)傳統(tǒng)的機(jī)器翻譯問題重新設(shè)計(jì)與建模，并使用深度神經(jīng)網(wǎng)絡(luò)來解決此問題。
　　通過對(duì)傳統(tǒng)統(tǒng)計(jì)機(jī)器翻譯方法的調(diào)研，以及深度學(xué)習(xí)在自然語言處理中的應(yīng)用分析，本課題旨在建立一個(gè)聯(lián)合的神經(jīng)網(wǎng)絡(luò)模型來覆蓋整個(gè)翻譯過程，從End-

2、to-End的角度直接完成翻譯任務(wù)。以往對(duì)于機(jī)器翻譯模型的改進(jìn)，通常是將其中某個(gè)子模塊使用神經(jīng)網(wǎng)絡(luò)進(jìn)行替換，但本課題聯(lián)合所有子模塊進(jìn)行建模，把機(jī)器翻譯過程分解為編碼器、解碼器兩大部分。在此之上對(duì)語言模型、詞對(duì)齊部分、以及輸出模塊生成算法進(jìn)一步優(yōu)化，并提出一種基于遞歸神經(jīng)網(wǎng)絡(luò)的RNN-embed機(jī)器翻譯模型。此模型最大的優(yōu)勢(shì)為無需對(duì)雙語數(shù)據(jù)進(jìn)行分詞處理，平行雙語對(duì)會(huì)被視為兩個(gè)高度相關(guān)的具有時(shí)間順序的序列對(duì)。雙語數(shù)據(jù)以字符級(jí)別輸入所提出的網(wǎng)

3、絡(luò)進(jìn)行訓(xùn)練，以解決文本類信息在深度神經(jīng)網(wǎng)絡(luò)中高語義難處理的困難。
　　基于所提出的模型，本課題還實(shí)現(xiàn)了一個(gè)可插拔的通用機(jī)器翻譯框架，并以多線程及GPU計(jì)算加速訓(xùn)練過程。由于沒有合適的公開數(shù)據(jù)集，便通過爬取字幕網(wǎng)站上的中英字幕數(shù)據(jù)，并預(yù)處理后生成一千多萬對(duì)雙語語料，部分作為實(shí)驗(yàn)數(shù)據(jù)使用。最后，通過實(shí)驗(yàn)驗(yàn)證，相比于權(quán)威統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)Moses，本課題的RNN-embed機(jī)器翻譯模型大幅度縮減模型訓(xùn)練時(shí)間，同時(shí)降低翻譯過程的復(fù)雜性。且