半指導的判別式英漢詞匯對齊研究.pdf

1、詞匯對齊(Word Alignment)是指在源文和對應(yīng)的譯文中刻畫詞匯互譯關(guān)系的過程。由于詞匯的對譯關(guān)系是刻畫其他翻譯關(guān)系的基礎(chǔ)，所以自動詞匯對齊是其他跨語言信息處理的基礎(chǔ)技術(shù)，一直受到研究者的重視。
　　本文在綜述詞對齊主要方法和分析該技術(shù)最新進展的基礎(chǔ)上，引入半指導的判別式詞對齊方法提高了英漢詞對齊性能，并且探索了統(tǒng)計特征和先驗知識相結(jié)合的多特征策略，進一步改進了詞對齊效果。最后將這一方法應(yīng)用于英漢詞匯互譯檢索中，設(shè)計并實現(xiàn)

2、了“綠洲”雙語檢索系統(tǒng)，解決了以往此類系統(tǒng)存在的候選互譯詞匯過多、檢索效率低的難題。本文主要具體的包括如下內(nèi)容：
　　首先，介紹了半指導的判別式英漢詞對齊模型，詳細的介紹了半指導判別式模型中采用的EMD(Expectation maximization and discriminative，期望最大化與判別相結(jié)合)訓練算法，該訓練算法結(jié)合了EM(Expectation maximization，期望最大化)訓練和判別式(Discr

3、iminative)訓練兩方面的優(yōu)點能夠從特征和特征權(quán)重兩個方向上對模型進行訓練，從而提高了判別式詞對齊的性能。介紹了NBest解碼算法，NBest解碼算法能夠保留更多的擴展候選，從而可以減少搜索錯誤的產(chǎn)生，提高詞對齊性能。
　　其次，分層次的介紹了在詞對齊研究中經(jīng)常使用的特征，并對特征進行了歸類分析。在分析的基礎(chǔ)上，選擇了詞義相似度和詞性翻譯概率作為純先驗特征和統(tǒng)計先驗相結(jié)合特征的代表，將這兩種特征添加到純統(tǒng)計特征為基礎(chǔ)的判別式

4、系統(tǒng)中，并對這兩種特征帶來的影響進行了分析。實驗結(jié)果表明，純先驗特征的添加要比統(tǒng)計先驗相結(jié)合的特征更能夠帶來系統(tǒng)性能的提升，純先驗知識的添加有利于提高模型的收斂速度。
　　最后，本文通過在常規(guī)判別式模型的基礎(chǔ)上添加三個新的特征，并使用召回率作為優(yōu)化目標，獲得了一個召回率96％的詞對齊結(jié)果。將高召回率的詞對齊結(jié)果應(yīng)用到詞匯互譯檢索系統(tǒng)中去，實現(xiàn)了一個基于詞對齊的“綠洲”詞匯互譯檢索系統(tǒng)。該系統(tǒng)能夠使用高召回率的對齊結(jié)果獲得源語詞和譯