融合文檔信息的機器翻譯自動評價研究.pdf

1、碩士學位論文論文題目融合文檔信息的機器翻譯自動評價研究研究生姓名李良友指導教師姓名周國棟專業(yè)名稱計算機軟件與理論研究方向自然語言處理論文提交日期2013年6月融合文檔信息的機器翻譯自動評價研究摘要融融融合合合文文文檔檔檔信信信息息息的的的機機機器器器翻翻翻譯譯譯自自自動動動評評評價價價研研研究究究摘摘摘要要要近年來，機器翻譯技術的快速發(fā)展從很大程度上得益于自動評價方法的研究，但是它同樣也受到了評價方法性能的制約。在分析已有方法優(yōu)缺點的基

2、礎上，本文提出了一種新的評價方法，并且研究了文檔信息在評價方法中的應用。首先，本文提出了基于短語的評價方法—PBE。該方法以語言學短語為基本評價單位，評價過程分為三個模塊：短語權重分配、短語相似度計算以及尋找最大相似度匹配。本文分別采用了ngram、tf.idf和Cvalue三種權重計算方法，提出基于Wd的短語相似度計算公式，并使用KM算法尋找具有最大相似度的短語匹配。其次，本文研究了使用文檔信息提高文檔級評價的效果。本文使用的第一種文

3、檔信息是文檔的主題模型。使用主流的主題模型工具LDA得到每個文檔及其詞的主題分布之后，本文計算出短語的主題分布；然后本文采用一種通用的計算框架將短語主題分布與PBE中的權重以及相似度函數進行融合。本文使用的第二種文檔信息是反映文檔連貫性的詞匯銜接。在已有LC評價方法的基礎上，本文提出了基于權重的WLC，該方法在文檔詞圖上運行PageRank算法獲得詞匯權重。本文進一步提出posWLC評價方法，該方法利用詞性信息使得PageRank算法在

4、分配權重時對某些詞有所偏向。最后本文將文檔的詞匯銜接評價與已有的主流方法以及PBE進行融合，以提高它們在文檔評價上的性能。在MTC2（LDC2003T17）和MTC4（LDC2006T04）評價數據集的實驗表明，本文提出的PBE與人工評價的Spearman相關系數顯著地高于目前最主流的方法BLEU。融合文檔主題信息后，PBE評價性能在MTC2和MTC4的一些系統(tǒng)上有了進一步提高。詞匯銜接部分的實驗也表明本文提出的WLC和posWLC在文