基于Web的中越雙語平行語料自動獲取技術研究.pdf

1、目前的統(tǒng)計機器翻譯的發(fā)展,由于其對大規(guī)模平行語料庫的依賴,還主要集中在平行語料庫相對容易獲得的英法、英漢等語言之間。由于獲取途徑的限制,即使像英語,漢語,法語這些常用的官方語言間的對照語料,得到的平行語料庫就算是有一定的規(guī)模,也多半都是很不平衡的,主要都是政府性或新聞性的題材,其他專業(yè)領域的平行語料庫則少之又少,至于其他一些國際上不常用的語言間的平行語料庫,即使是這種非平衡的資源也很難獲得,對于目前尚不成熟的中越兩國語言的平行語料,此種

2、問題則更為突出。本文致力于構建一個基于Web的大規(guī)模中越雙語平行語料庫自動獲取系統(tǒng)。取得主要成果有以下幾方面:
　　 1.提出基于圖片鏈接信息對齊URL無命名規(guī)律的中越雙語平行網(wǎng)頁的算法
　　 目前主流的中越雙語平行網(wǎng)站的URL命名無規(guī)律性同時又含有大量附圖鏈接并且鏈接所指向的網(wǎng)頁含有豐富的中越雙語平行語料資源這一特性,通過提取以上雙語平行網(wǎng)頁以及目前主流網(wǎng)站的附圖鏈接的網(wǎng)頁的HTML源代碼并對其附圖鏈接的代碼部分進行詳

3、盡的結構比較、分析,發(fā)現(xiàn)了所有網(wǎng)站在附圖鏈接源代碼上的一個統(tǒng)一的固定結構,并成功實現(xiàn)抽取這一固定結構及其中的圖片鏈接信息和對應候選平行網(wǎng)頁URL的算法,從而成功實現(xiàn)利用雙語平行網(wǎng)頁的圖片鏈接信息相同的這一特征來對齊中越雙語候選平行網(wǎng)頁的方法,從而可以找出盡可能多可信的中越候選網(wǎng)頁對。
　　 2.對基于句子長度、詞匯的對齊特征抽取進行對應中越雙語的適應性改進
　　 基于中越兩國語言的淵源關系以及在句子長度、詞匯互譯上的相似

4、之處,本文在現(xiàn)有中越雙語平行語料庫的基礎上對中越雙語平行句對的句子長度進行了科學統(tǒng)計,總結出了長度比例、概率分布、拒絕域的重要句子對齊特征;基于現(xiàn)有尚不成熟完善的漢越雙語詞典提出了引入《哈工大信息檢索研究室同義詞詞林擴展版》進行越漢詞典的詞條擴展、合并本來不應被切分開的詞語、互譯詞匯查找的模糊匹配,三種處理策略,顯著提高了中越雙語平行句對的詞匯匹配率,同時,通過對以上處理策略的數(shù)據(jù)收集、統(tǒng)計,為多語種項目日后的漢越詞典的完善、翻譯概率的