漢英雙語平行語料庫中對(duì)齊方法的研究.pdf

1、在自然語言處理領(lǐng)域,雙語平行語料庫的重要性日益加強(qiáng),其研究工作主要是集中在構(gòu)建、對(duì)齊和標(biāo)注等方面.它在在機(jī)器翻譯、詞典編纂、多語言信息檢索、術(shù)語提取等領(lǐng)域有著重要的研究價(jià)值.在過去的三十年里,各國的研究人員相繼建立了許多印歐語言的平行語料庫.與之相比,漢英雙語平行語料庫的研究國內(nèi)外都相對(duì)較少,近年來才剛剛起步.該文的工作主要集中在漢英雙語平行語料庫詞語對(duì)齊及詞義排歧的研究上,主要包括以下部分:1.實(shí)詞對(duì)應(yīng).在詳細(xì)考察各類統(tǒng)計(jì)參數(shù)的基礎(chǔ)上

2、,對(duì)高頻實(shí)詞提出了適合于漢英兩個(gè)不同體系語言的一種混合的統(tǒng)計(jì)方法,而對(duì)低頻實(shí)詞則充分利用詞典獲取對(duì)應(yīng)信息,最后采用一種綜合的基于競爭鏈接的對(duì)應(yīng)算法,取得了較好的效果.2.雙語語塊的識(shí)別和對(duì)應(yīng).該文充分利用已有的實(shí)詞對(duì)應(yīng)信息,將語塊的劃分和對(duì)應(yīng)同時(shí)進(jìn)行,這樣使得對(duì)應(yīng)和劃分能相互提供信息,有效地避免了當(dāng)前絕大多數(shù)算法中存在的雙語語塊邊界劃分不一致的情況.3.名詞短語的對(duì)應(yīng).該文根據(jù)名詞短語的統(tǒng)計(jì)特征,對(duì)高頻名詞短語采用迭代重估算法;對(duì)低頻短

3、語,則采用類似于低頻實(shí)詞的對(duì)應(yīng)方法.這樣就能夠從整體上把握對(duì)應(yīng)信息,并使結(jié)果具有很高的覆蓋率.4.雙語詞義排歧.當(dāng)前大多數(shù)基于雙語語料的詞義排歧算法都局限在利用單個(gè)多義詞的上下文環(huán)境及其對(duì)應(yīng)信息,該文則充分利用當(dāng)前Hownet資源中概念的可計(jì)算性,將詞義排歧的問題轉(zhuǎn)化為多義詞和另一種語言的相應(yīng)句子的整體意義相似性問題,從一個(gè)新的角度來進(jìn)行詞義排歧,因此得出了滿意的研究結(jié)果.該文利用漢英兩種語言各自的特點(diǎn),充分利用已有信息,實(shí)現(xiàn)了對(duì)平行語