基于最大熵的機器翻譯研究與實現(xiàn).pdf

1、我國各民族間合作交流對社會穩(wěn)定和民族文化融合有重大意義，大量少數(shù)民族珍貴文獻需要翻譯成漢語來得以傳承，人工翻譯效率很低，而且少數(shù)民族語言和漢語之間的機器翻譯效果欠佳，因此有必要深入研究語言的機器翻譯技術(shù)。機器翻譯是利用計算機智能地將一種源語言轉(zhuǎn)換成另一種目標語言的過程，隨著計算機性能的提升和可用語料數(shù)據(jù)的快速發(fā)展，統(tǒng)計機器翻譯（SMT）的優(yōu)勢更加明顯，成為主流的機器翻譯方式?；谧畲箪氐慕y(tǒng)計機器翻譯是借鑒最大熵思想形成的一種直接翻譯模型

2、，這種模型可以融合多個特征，針對不同領(lǐng)域設(shè)計不同的特征選取策略，達到更好的翻譯效果。因此本文重點研究了最大熵統(tǒng)計翻譯模型的技術(shù)細節(jié)，然后面向維漢翻譯領(lǐng)域?qū)δＰ偷奶卣鬟M行了針對性改進，最后融合這些特征實現(xiàn)了基于最大熵的維漢統(tǒng)計機器翻譯系統(tǒng)。具體地講，本文完成了以下三方面工作：
　　(1) Skip語言模型和平滑技術(shù)的研究。為了緩解語言模型的數(shù)據(jù)稀疏問題，提出一種基于詞頻的skip語言模型，并對其進行平滑處理。詳細介紹了skip語言模

3、型的訓(xùn)練方式，結(jié)合各種平滑技術(shù)與n-gram語言模型進行性能對比實驗，結(jié)果顯示skip語言模型結(jié)合平滑技術(shù)能夠降低語言模型的困惑度，提高語言模型質(zhì)量。
　　(2)針對維漢統(tǒng)計機器翻譯的最大熵模型研究。闡述了通用統(tǒng)計翻譯的最大熵模型中各個特征的技術(shù)細節(jié)。然后針對維漢翻譯領(lǐng)域的特點，對維吾爾語語料進行詞素化處理并提出詞綴裁剪的改進方案?？紤]到維漢句子結(jié)構(gòu)差異，縮小調(diào)序模型的權(quán)重，構(gòu)建了更適合維漢翻譯的統(tǒng)計機器翻譯最大熵模型。實驗驗證，

4、使用改進的最大熵模型提高了譯文的BLEU評分。
　　(3)設(shè)計并實現(xiàn)了基于最大熵的維漢統(tǒng)計機器翻譯系統(tǒng)。論述了翻譯系統(tǒng)的總體架構(gòu)和翻譯流程，描述了翻譯系統(tǒng)中的各模塊的原理、功能和模型訓(xùn)練過程中的核心模型文件。對比展示了翻譯和模型訓(xùn)練的實際效果。
　　本文提出基于最大熵的維漢統(tǒng)計機器翻譯系統(tǒng)框架，包括雙語語料的處理、模型訓(xùn)練、性能調(diào)優(yōu)。該系統(tǒng)能夠為維漢翻譯工作者提供比較準確的譯文參考，展現(xiàn)了重大的實際應(yīng)用價值?；趯S漢翻譯的