利用web抽取雙語翻譯對的研究與實現(xiàn).pdf

1、重慶大學碩士學位論文利用web抽取雙語翻譯對的研究與實現(xiàn)碩士研究生：樊聰指導教師：王時龍教授學科、專業(yè)：計算機軟件與理論(軟件工程領域)重慶大學軟件學院二OO七年十月摘要近年來，在自然語言處理的研究和開發(fā)中，雙語翻譯對（包括句子，短語，詞匯）的作用日益突顯出來，它為跨語言檢索和機器翻譯等自然語言處理應用提供基礎資源。大量的雙語翻譯對可以明顯改進上述基于實例的自然語言應用系統(tǒng)的性能。因而人們提出了很多抓取雙語翻譯的方法，早期的方法主要是從

2、平行語料里進行抽取。這類方法存在規(guī)模不足，領域局限，不能很好處理新詞等問題。隨著互聯(lián)網得飛速發(fā)展，大量網頁中包含了雙語翻譯對。并且由于互聯(lián)網自身的多樣性和實時性，互聯(lián)網上的翻譯對覆蓋面廣，而且包含了大量新詞。因此，從互聯(lián)網上抽取雙語翻譯對已成為了當今信息抽取領域里的研究熱點。本文提出了一種新穎的從互聯(lián)網上獲取雙語平行翻譯對的方法，該方法基于雙語平行翻譯對在網上會集群式出現(xiàn)的特點，通過一個循環(huán)迭代的挖掘方法自動的從互聯(lián)網上發(fā)現(xiàn)，抽取高質量

3、的翻譯對。首先利用種子數(shù)據(jù)從搜索引擎上獲取包含種子數(shù)據(jù)的網頁，然后使用一個啟發(fā)式的評估方法從網頁中發(fā)現(xiàn)雙語平行翻譯對。對這些包含集群式出現(xiàn)的雙語翻譯對的信息區(qū)域，我們使用了PAT樹的數(shù)據(jù)結構自動構建抽取模板，然后，根據(jù)模板的抽取性能（使用Fmeasure進行評測）采用RankingSVM對這些模板進行排序，使用排序后的前10個模板聯(lián)合表面模板（SurfacePattern）進行翻譯對的抽取。最后，再通過使用一個基于源語言和目標語言翻譯相