統(tǒng)計機(jī)器翻譯中翻譯知識優(yōu)化方法研究.pdf

1、現(xiàn)有統(tǒng)計機(jī)器翻譯系統(tǒng)對于大規(guī)模訓(xùn)練語料有著較強(qiáng)的依賴性,原因在于:大規(guī)模雙語訓(xùn)練語料往往蘊(yùn)含豐富的翻譯知識和語言知識,對于翻譯模型和目標(biāo)語言模型都有著積極的指導(dǎo)作用。然而,隨著訓(xùn)練語料規(guī)模的增長,往往會出現(xiàn)如下一種無法回避的負(fù)面問題:翻譯知識中存在著冗余信息和錯誤信息,誤導(dǎo)翻譯模型和語言模型的學(xué)習(xí)與應(yīng)用。本研究主要內(nèi)容包括：
　?、庞?xùn)練語料選擇。以訓(xùn)練語料的質(zhì)量為評價標(biāo)準(zhǔn),提出了基于分類的平行語料選擇方法。利用句對特征的排序結(jié)果構(gòu)

2、建區(qū)分性較大的正負(fù)例句對,然后使用上述區(qū)分性較大的句對訓(xùn)練分類器,最后借助分類器自動地進(jìn)行語料質(zhì)量判定分類工作。判定完語料質(zhì)量后,僅選擇語料質(zhì)量好的句對作為機(jī)器翻譯系統(tǒng)的訓(xùn)練語料。在大規(guī)模語料上進(jìn)行的實驗表明本文所提方法能比基準(zhǔn)系統(tǒng)高出0.87個BLEU點(diǎn)。
　?、品g知識中噪音的過濾。針對口語翻譯系統(tǒng)中實詞翻譯丟失的問題,本文選擇在層次短語模型上開展研究。針對層次短語模型特點(diǎn),本文提出一種啟發(fā)式的短語表(翻譯知識)過濾方法。該方

3、法有效地將一些含有實詞翻譯丟失現(xiàn)象的噪音短語進(jìn)行排除。本文選擇在口語翻譯任務(wù)上進(jìn)行實驗,實驗結(jié)果表明本方法能在有效緩解實詞翻譯丟失問題的同時提高BLEU值。
　?、欠g知識中主題信息的融合。選擇在調(diào)序模型中融入主題信息。首先,利用主題模型估計訓(xùn)練語料的主題信息,然后使用設(shè)計的主題信息特征模板抽取含有主題信息的調(diào)序?qū)嵗?使用抽取出的調(diào)序?qū)嵗?xùn)練調(diào)序模型。最后我們將融合文檔主題信息的調(diào)序模型集成到機(jī)器翻譯系統(tǒng)中,并設(shè)計出該系統(tǒng)的翻譯解