一種藏漢句子自動對齊系統(tǒng)的研究與實現(xiàn).pdf

1、在自然語言處理領(lǐng)域,雙語平行語料庫的重要性日益加強,其研究主要集中在構(gòu)建、對齊和標(biāo)注等方面,在機器翻譯、詞義消歧以及跨語言信息檢索等研究領(lǐng)域中具有重要的實際研究意義。
　　雙語平行語料庫有多種組織形式,如篇章一級、句子一級、詞匯一級等,其中篇章一級最容易獲得,但用處不大。從篇章一級的雙語文本中自動獲得句子一級的雙語語料庫是雙語句子對齊的過程,也是進(jìn)一步找到詞語間對應(yīng)關(guān)系和獲得其他翻譯知識的基礎(chǔ)。本文對雙語句子自動對齊的相關(guān)技術(shù)理論

2、進(jìn)行了深入細(xì)致的分析研究,針對藏漢語言的特殊性、翻譯標(biāo)準(zhǔn)的不一致性和藏文資源的不足等因素,把藏漢句子對齊問題轉(zhuǎn)化為其實詞之間的匹配過程。選擇了適合于藏漢語言特點的句子對齊算法,并實現(xiàn)了藏漢句子自動對齊系統(tǒng)。
　　本論文的研究主要包括以下幾點:
　　1、藏文文本分詞。首先針對目前藏文編碼和書寫格式的雜亂無章,對文本的編碼、格式進(jìn)行統(tǒng)一化、規(guī)范化自動處理,使得系統(tǒng)能夠處理更多的藏文文本;其次,在已有的研究基礎(chǔ)上,充分利用藏文語法

3、信息,詳細(xì)設(shè)計并實現(xiàn)了藏文自動分詞系統(tǒng),經(jīng)測試表明,分詞準(zhǔn)確率可達(dá)到96.2％,有利于句子對齊研究中獲得相關(guān)詞匯信息。
　　2、藏漢文本預(yù)處理。為了句子對齊問題簡化為其實詞之間的匹配過程,首先對藏漢句子的語法結(jié)構(gòu)特點進(jìn)行了研究和探索,其次,對兩種句子相互對應(yīng)的規(guī)律進(jìn)行了歸納與總結(jié),最后,對藏漢文本進(jìn)行分句、分類和提取固定詞匯(實詞)的預(yù)處理。經(jīng)實驗表明,藏文文本分句的準(zhǔn)確率達(dá)到94.2%,句子分類的準(zhǔn)確率達(dá)到88.05%,句中提取

4、詞匯的準(zhǔn)確率達(dá)到93.8%;漢文句子分類的準(zhǔn)確率達(dá)到90.1%,句中提取詞匯的準(zhǔn)確率達(dá)到97.1%。為藏漢句子自動對齊研究提供了技術(shù)保障。
　　3、句子對齊。在文本預(yù)處理的基礎(chǔ)上,首先對藏漢句子進(jìn)行長度相似度和詞匯相似度計算,并以兩者之和(評價函數(shù)值)為藏漢句子的相似度;其次,在動態(tài)規(guī)劃框架下,每兩個句子按8種對齊模式計算其評價值,最后尋求最優(yōu)對齊路徑,該路徑上的句對為最終結(jié)果。從而完成了句子對齊的整體過程。經(jīng)實驗表明,對齊準(zhǔn)確率