面向Web的多語平行句對挖掘技術(shù)研究.pdf

1、雙語平行語料庫是統(tǒng)計(jì)機(jī)器翻譯及其一系列相關(guān)研究應(yīng)用不可或缺的重要資源。傳統(tǒng)的人工校驗(yàn)、錄入平行語料的方式不僅耗時費(fèi)力，而且很難在有限的時間內(nèi)建立起較大規(guī)模的平行語料庫。隨著互聯(lián)網(wǎng)上各種雙語、多語網(wǎng)站的興起，很多研究人員開始研究從互聯(lián)網(wǎng)上獲取雙語平行語料。然而，以往的一些研究主要集中于從平行網(wǎng)頁（內(nèi)容互為翻譯的兩個不同語種的網(wǎng)頁）中獲取平行語料。由于平行網(wǎng)頁的稀缺性，導(dǎo)致所獲得的語料規(guī)模、領(lǐng)域覆蓋度不是很好。后來，有學(xué)者發(fā)現(xiàn)Web上存在著

2、大量的混合網(wǎng)頁（同一網(wǎng)頁中存在互為翻譯的兩個語種的正文），且混合網(wǎng)頁中的雙語語料質(zhì)量、覆蓋領(lǐng)域都是平行網(wǎng)頁所無法比擬的。因此，本文的研究主要圍繞Web上的混合網(wǎng)頁展開，并致力于建設(shè)能夠從Web中的混合網(wǎng)頁中自動獲取雙語平行語料的系統(tǒng)。
　　本文的具體研究內(nèi)容主要涉及以下幾個方面：
　　(1)本文總結(jié)了近年來國內(nèi)外雙語平行語料庫建設(shè)以及雙語平行語料庫建設(shè)方法的研究現(xiàn)狀。目前，國內(nèi)雙語平行語料庫建設(shè)和研究工作的主要側(cè)重于語料的后

3、期處理，如語料庫的加工標(biāo)注、翻譯知識獲取等方面。同時，已有的平行語料庫集中于中英雙語平行語料庫，面向大規(guī)模原始多語種的雙語平行語料庫的建設(shè)并沒有得到充分重視。
　　(2)本文在對現(xiàn)有雙語平行語料庫建設(shè)方法進(jìn)行理論分析的基礎(chǔ)上，實(shí)現(xiàn)了從Web自動挖掘平行語料的系統(tǒng)。該系統(tǒng)以互聯(lián)網(wǎng)上廣泛存在的具有較高研究價值的雙語混合網(wǎng)頁為主要的雙語語料來源，其主要技術(shù)難點(diǎn)在于候選網(wǎng)頁獲取、雙語混合網(wǎng)頁檢測、網(wǎng)頁正文解析、平行句對齊等。本系統(tǒng)采用借助

4、搜索引擎的檢測與下載同步進(jìn)行的候選網(wǎng)頁獲取方法，以網(wǎng)頁內(nèi)不同語種正文比例進(jìn)行混合網(wǎng)頁檢測，使用標(biāo)簽分析的方法進(jìn)行網(wǎng)頁正文解析，平行句對齊則是采用融合了HTML標(biāo)簽特征的句對齊方法。通過實(shí)驗(yàn)檢驗(yàn)，本系統(tǒng)雙語混合網(wǎng)頁檢測準(zhǔn)確率達(dá)到95％以上；網(wǎng)頁正文解析準(zhǔn)確率達(dá)到88%以上；平行句對齊準(zhǔn)確率達(dá)到90%以上。
　　(3)本文結(jié)合所獲取的雙語語料，完成了基于Lucene的多語綜合檢索系統(tǒng)。該系統(tǒng)以英語為中間語言進(jìn)行用戶查詢的處理，經(jīng)過簡單