基于微引擎流水線的機(jī)器翻譯系統(tǒng)結(jié)構(gòu)

1、基于微引擎流水線的機(jī)器翻譯系統(tǒng)結(jié)構(gòu)基于微引擎流水線的機(jī)器翻譯系統(tǒng)結(jié)構(gòu)1劉群中國(guó)科學(xué)院計(jì)算技術(shù)研究所，北京100080北京大學(xué)計(jì)算語(yǔ)言學(xué)研究所，北京100871liuqun@ict.摘要：摘要：本文比較了現(xiàn)有各種多引擎機(jī)器翻譯方法的優(yōu)缺點(diǎn)，提出了基于微引擎流水線的機(jī)器翻譯系統(tǒng)結(jié)構(gòu)，詳細(xì)介紹了有關(guān)的數(shù)據(jù)結(jié)構(gòu)和算法。這種結(jié)構(gòu)的優(yōu)點(diǎn)在于在部件層次上實(shí)現(xiàn)多種算法的并存，通過(guò)對(duì)微引擎的增刪和流水線結(jié)構(gòu)的調(diào)整可以方便地嘗試各種機(jī)器翻譯方法的組合，而不

2、需要修改系統(tǒng)的整體算法。文章最后介紹了這種機(jī)器翻譯系統(tǒng)結(jié)構(gòu)在面向新聞?lì)I(lǐng)域的漢英機(jī)器翻譯系統(tǒng)中的具體實(shí)現(xiàn)，給出了實(shí)驗(yàn)數(shù)據(jù)，并進(jìn)行了總結(jié)。摘要：摘要：多引擎機(jī)器翻譯微引擎流水線1引言引言由于各種不同的機(jī)器翻譯方法各有特長(zhǎng)，也各有缺點(diǎn)，沒(méi)有哪一種單一的機(jī)器翻譯方法能夠達(dá)到理想的效果，因此采用多引擎的方法，希望各種方法能夠互補(bǔ)，以達(dá)到總體效果的最優(yōu)，就成為了一種自然的選擇。目前多引擎的機(jī)器翻譯目前已經(jīng)被廣泛采用，而實(shí)踐證明這種方法也確實(shí)有效。目

3、前常用的多引擎機(jī)器翻譯系統(tǒng)主要有三種結(jié)果形式，我們稱(chēng)之為并行的結(jié)構(gòu)、串行的結(jié)構(gòu)和混合的結(jié)構(gòu)。在并行結(jié)構(gòu)的多引擎機(jī)器翻譯系統(tǒng)中，各個(gè)翻譯引擎各自獨(dú)立地對(duì)輸入的文本進(jìn)行翻譯，并將翻譯的結(jié)果放到一個(gè)統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)中，最后由一個(gè)譯文選擇模塊選擇出最好的譯文組合。Frederking[1]提出了一種典型的并行多引擎機(jī)器翻譯的方法。該方法基本思想描述如下：1.多個(gè)的翻譯引擎同時(shí)對(duì)輸入的句子進(jìn)行翻譯，不僅僅對(duì)整個(gè)句子進(jìn)行翻譯，而且對(duì)句子的任何一個(gè)片斷

4、也可以給出相應(yīng)的譯文，同時(shí)對(duì)這些譯文片斷給出一個(gè)評(píng)分。2.各個(gè)翻譯引擎共享一個(gè)類(lèi)似線圖的數(shù)據(jù)結(jié)構(gòu)，根據(jù)其源文片斷所處的位置，將這些譯文片斷放在這個(gè)公共的線圖結(jié)構(gòu)之中。3.對(duì)各個(gè)引擎給出的片斷的評(píng)分進(jìn)行一致化處理，使之具有可比較性。4.采用一個(gè)動(dòng)態(tài)規(guī)劃算法（稱(chēng)為tWalk算法）選擇一組剛好能覆蓋整個(gè)源文輸入句子，同時(shí)又具有最高總分的譯文片斷，作為最后輸出的譯文。系統(tǒng)結(jié)構(gòu)如圖1所示：1本文工作受?chē)?guó)家重點(diǎn)基礎(chǔ)研究計(jì)劃（973）支持，項(xiàng)目編號(hào)是

5、G19980305074和G1998030510。不過(guò)，并行的多引擎機(jī)器翻譯方法有一個(gè)突出的優(yōu)點(diǎn)也是另外兩種方法所不具備的，就是其易擴(kuò)充性。在這種結(jié)構(gòu)下，各個(gè)翻譯引擎的程序接口完全相同，添加和刪除新的翻譯引擎變得非常簡(jiǎn)單，這使得程序的擴(kuò)充變得非常容易。而在串行和混合的多引擎機(jī)器翻譯結(jié)構(gòu)中，各個(gè)翻譯引擎（部件）由于實(shí)現(xiàn)的功能不盡相同，各個(gè)翻譯引擎之間存在復(fù)雜的通訊關(guān)系，翻譯引擎無(wú)法采用統(tǒng)一的程序接口，這使得程序的擴(kuò)充變得非常困難。由德國(guó)教

6、育與研究部（BMBF）資助開(kāi)發(fā)的Verbmobil語(yǔ)音機(jī)器翻譯系統(tǒng)就是一個(gè)典型的混合結(jié)構(gòu)的多引擎機(jī)器翻譯系統(tǒng)[6]。該系統(tǒng)規(guī)模非常龐大，整個(gè)系統(tǒng)的研制為期8年（19932000），涉及三種語(yǔ)言（德語(yǔ)、英語(yǔ)、日語(yǔ)）的雙向翻譯。世界三大洲的31個(gè)研究機(jī)構(gòu)、369名科學(xué)家和919名學(xué)生（碩士生、博士生和博士后）參與了這個(gè)項(xiàng)目的研究。系統(tǒng)采用的技術(shù)也非常龐雜，語(yǔ)音處理領(lǐng)域和自然語(yǔ)言處理領(lǐng)域中常見(jiàn)各種技術(shù)都在這個(gè)系統(tǒng)中有所反映。整個(gè)系統(tǒng)由69個(gè)互

7、相交互的模塊構(gòu)成。其中用到的自然語(yǔ)言處理技術(shù)包括：組塊分析、概率LR分析、HPSG分析、對(duì)話行為（DialogAct）分析、基于統(tǒng)計(jì)的翻譯、基于子串（substring）的翻譯、基于模板的翻譯、基于模板的轉(zhuǎn)換、語(yǔ)義分析、上下文相關(guān)歧義的消解、基于規(guī)劃的話語(yǔ)生成，等等。為了解決翻譯引擎之間通訊的問(wèn)題，Verbmobil系統(tǒng)采用一種多黑板結(jié)構(gòu)用于模塊之間的數(shù)據(jù)交互，模塊之間不能直接通信。黑板結(jié)構(gòu)還有利于各個(gè)模塊之間的并行執(zhí)行?？偣膊捎昧?9