Web雙語(yǔ)平行語(yǔ)料自動(dòng)獲取及其在統(tǒng)計(jì)機(jī)器翻譯中的應(yīng)用.pdf

1、雙語(yǔ)平行語(yǔ)料庫(kù)在自然語(yǔ)言處理領(lǐng)域有很多重要應(yīng)用，它為統(tǒng)計(jì)機(jī)器翻譯模型提供不可或缺的訓(xùn)練數(shù)據(jù)，同時(shí)也是詞典編纂和跨語(yǔ)言信息檢索等應(yīng)用的重要基礎(chǔ)資源。但是大規(guī)模雙語(yǔ)平行語(yǔ)料庫(kù)的獲取并不容易，現(xiàn)有的平行語(yǔ)料庫(kù)在規(guī)模、時(shí)效性和領(lǐng)域的平衡性等方面還不能滿(mǎn)足處理真實(shí)文本的實(shí)際需要。隨著互聯(lián)網(wǎng)的普及和飛速發(fā)展，越來(lái)越多的雙語(yǔ)網(wǎng)站被創(chuàng)建，越來(lái)越多的信息以多語(yǔ)言的形式發(fā)布，這就為雙語(yǔ)和多語(yǔ)語(yǔ)料庫(kù)的建設(shè)提供了很大的來(lái)源。一些研究者提出了基于Web的雙語(yǔ)或多

2、語(yǔ)平行語(yǔ)料庫(kù)自動(dòng)挖掘方法，為雙語(yǔ)或多語(yǔ)平行語(yǔ)料庫(kù)的自動(dòng)構(gòu)建提出了有效的解決途徑。本文致力于構(gòu)建一個(gè)基于Web的大規(guī)模雙語(yǔ)平行語(yǔ)料庫(kù)自動(dòng)獲取系統(tǒng)。取得主要成果有以下幾方面：
　　 1.研究了雙語(yǔ)混合網(wǎng)頁(yè)的自動(dòng)發(fā)現(xiàn)和獲取
　　 互聯(lián)網(wǎng)上的雙語(yǔ)平行資源主要分為兩類(lèi)：一類(lèi)是雙語(yǔ)資源分布于兩個(gè)網(wǎng)頁(yè)間，兩個(gè)網(wǎng)頁(yè)用不同語(yǔ)言描述內(nèi)容上是互譯的，我們稱(chēng)之為雙語(yǔ)平行網(wǎng)頁(yè)；另一類(lèi)是雙語(yǔ)資源位于同一網(wǎng)頁(yè)內(nèi)，我們稱(chēng)之為雙語(yǔ)混合網(wǎng)頁(yè)。以往的系統(tǒng)主要

3、是基于雙語(yǔ)平行網(wǎng)頁(yè)的，但是通過(guò)觀(guān)察，我們發(fā)現(xiàn)Web上存在大量的雙語(yǔ)混合網(wǎng)頁(yè)，而且雙語(yǔ)混合網(wǎng)頁(yè)上的雙語(yǔ)資源對(duì)照更為工整，翻譯質(zhì)量較高，是非常寶貴的雙語(yǔ)資源來(lái)源。
　　 雙語(yǔ)平行網(wǎng)頁(yè)存在地址或結(jié)構(gòu)上的相似性，處理方法已經(jīng)很成熟，但這些方法并不適用于雙語(yǔ)混合網(wǎng)頁(yè)。候選雙語(yǔ)混合網(wǎng)頁(yè)分布通常不確定，缺乏一些常見(jiàn)的啟發(fā)信息，獲取更為困難。本文提出了一種基于嘗試下載策略的自動(dòng)發(fā)現(xiàn)雙語(yǔ)混合網(wǎng)頁(yè)的方法，運(yùn)用該方法獲取候選混合網(wǎng)站具有較高的正確率。

4、
　　 2.研究了從雙語(yǔ)混合網(wǎng)頁(yè)中抽取平行句對(duì)的方法
　　 從雙語(yǔ)混合網(wǎng)頁(yè)中抽取平行句對(duì)的主要任務(wù)可以分成三部分：網(wǎng)頁(yè)噪聲過(guò)濾、雙語(yǔ)混合網(wǎng)頁(yè)確認(rèn)和句子對(duì)齊。本文研究并實(shí)現(xiàn)了兩種網(wǎng)頁(yè)去噪聲方法：專(zhuān)用的基于模板的方法和通用的基于Html標(biāo)簽樹(shù)的方法。對(duì)于雙語(yǔ)混合網(wǎng)頁(yè)的確認(rèn)本文分兩步實(shí)驗(yàn)，分別是基于雙語(yǔ)字符數(shù)的粗判別和基于詞典的細(xì)判別。最后，本文采用基于混合信息的句子對(duì)齊方法將篇章級(jí)的雙語(yǔ)平行文本轉(zhuǎn)化成雙語(yǔ)平行句對(duì)。本文解決了