機器翻譯中系統(tǒng)融合技術(shù)的研究.pdf

1、機器翻譯的研究已經(jīng)有幾十年的歷史了。目前主流的研究方向是基于統(tǒng)計的機器翻譯模型。統(tǒng)計翻譯模型從基于詞到成熟的基于短語的翻譯模型,直至到形式化文法和基于句法的翻譯模型,而且加入了很多的特征。因此機器翻譯進入了一個“百花齊放,百家爭鳴”的時代。但是不同的模型有不同的重排序能力,不同的解碼方法有不同的搜索空間。
　　針對多種機器翻譯的翻譯結(jié)果,我們是否能夠融合多種翻譯結(jié)果來達到“取長補短”,這就是系統(tǒng)融合。系統(tǒng)融合在近幾年才取得了標(biāo)志性

2、的性能提高,但關(guān)于系統(tǒng)融合的若干關(guān)鍵問題的研究還不完善。按照融合的粒度來分,可以分為基于句子,基于短語,和基于詞的系統(tǒng)融合;按照融合的階段來說,可以分為后處理階段和解碼階段的系統(tǒng)融合。本文主要是在兩種現(xiàn)今流行的方法中研究:一個是后處理階段的基于詞的系統(tǒng)融合,另一個是解碼階段的系統(tǒng)融合。本文對系統(tǒng)融合中出現(xiàn)的若干關(guān)鍵問題進行了研究。其中包含骨架翻譯的選擇,對齊方法,在混淆網(wǎng)絡(luò)中的調(diào)序,模型融合后的解碼方法等方面。
　　基于這些問題,

3、本文旨在提高系統(tǒng)融合的性能,針于基于詞的系統(tǒng)融合提出了增強的對齊方法,重排序模型以及新的解碼框架本;針對模型融合的解碼方法進行了深入了研究。本文具體研究內(nèi)容包括以下幾個方面:
　　1.研究了在基于詞一級系統(tǒng)融合中混淆網(wǎng)絡(luò)的構(gòu)建中加入了增量的策略。我們也說明增量對齊方法能夠有效的改進對齊質(zhì)量;由于在“翻譯錯誤率”(TER)增量對齊中,假設(shè)翻譯的順序影響了增量對齊的結(jié)果,我們做了實驗性的比較;同時為了解決TER算法只匹配同一詞的缺點,

4、我們引入取詞根和基于WordNet的詞義消歧方法來進行候選翻譯和假設(shè)翻譯中詞語的對齊;
　　2.在系統(tǒng)融合的訓(xùn)練過程中,混淆網(wǎng)絡(luò)的骨架翻譯的選擇決定了假設(shè)翻譯的語序,傳統(tǒng)的選擇方法是選擇具有 MBR特性的候選翻譯作為對齊的骨架,這就造成了對于混淆網(wǎng)絡(luò)只考慮到一種語序形式。由于我們?nèi)诤系臋C器翻譯結(jié)果是來自于多種不同文法或是方法,每種翻譯結(jié)果有著不同的語序,為了使得每種翻譯結(jié)果的語序都被考慮到,我們構(gòu)建了一個超級混淆網(wǎng)絡(luò),并用兩種方法

5、來驗證方法的有效性:一種在超級混淆網(wǎng)絡(luò)中的加入基于混淆網(wǎng)絡(luò)的特征;另一種是在解碼中對多個混淆網(wǎng)絡(luò)生成的候選翻譯翻譯進行一致性重打分。實驗結(jié)果也驗證了兩種方法的有效性。
　　3.研究了利用超圖進行系統(tǒng)融合的訓(xùn)練和解碼。為了計算訓(xùn)練階段的量值方便,我們在訓(xùn)練的過程引入了二階半環(huán)框架來計算梯度。在解碼階段為了使得原有Cube-Pruning剪枝的框架被保留下來,我們使用Cube Growing,采用了三個階段的訓(xùn)練解碼,第一個階段是使用

6、Cube Growing進行普通解碼;第二個階段使用n-gram特征來解決偽歧義和一致性解碼的問題;第三個階段對于兩個系統(tǒng)融合模型進行融合,三個階段取得了一定的效果。由于更大的搜索空間和更好整合語言模型特征,得到了比較好的結(jié)果。
　　4.由于每種文法表現(xiàn)能力不同,為了使得每種文法能夠取長補短,我們對于層次短語文法和括號轉(zhuǎn)錄文法進行在機器翻譯的解碼框架下進行融合。不同于系統(tǒng)融合方法,解碼框架的融合考慮到了解碼過程生成的侯選翻譯的互相