漢英詞語對(duì)齊技術(shù)研究.pdf

1、詞語對(duì)齊是跨語言自然語言處理領(lǐng)域的一個(gè)基本問題,許多基于雙語語料庫的應(yīng)用(如SBMT、EBMT、WSD、詞典編纂)都需要詞匯級(jí)別的對(duì)齊.以往詞語對(duì)齊方法對(duì)雙語詞典在對(duì)齊中的作用的研究都不夠深入.該文重點(diǎn)研究利用由多部人讀雙語詞典擴(kuò)充雙語詞典的規(guī)模來改善對(duì)齊質(zhì)量.在Ker的基于類的詞語對(duì)齊方法研究和實(shí)踐的基礎(chǔ)上,提出了一個(gè)利用大規(guī)模雙語詞典進(jìn)行漢英詞語對(duì)齊的方法.該方法利用雙詞詞典計(jì)算的詞語相似度,位置和詞性信息進(jìn)行詞語對(duì)齊,并通過對(duì)齊窗

2、口得到了多對(duì)多的詞語對(duì)應(yīng).用該方法建造的漢英詞語對(duì)齊系統(tǒng),最終在中文句子平均單詞數(shù)是24.8,英語句子的平均單詞數(shù)為34.5的650對(duì)中英語句子的測(cè)試集下,取得了準(zhǔn)確率84.0﹪下召回率62.9﹪的結(jié)果.在對(duì)齊算法上,該文在下面幾點(diǎn)上對(duì)Ker的詞語對(duì)齊算法做了改進(jìn)和創(chuàng)新:1.對(duì)Ker的算法中相對(duì)位置偏移量的計(jì)算方式做了改進(jìn),并在開始對(duì)齊前通過詞語相似度選擇對(duì)齊錨點(diǎn)來改善對(duì)齊質(zhì)量.2.提出對(duì)齊窗口的概念,通過在對(duì)齊過程中設(shè)置對(duì)齊窗口,可以