漢語詞與句子切分技術(shù)及機(jī)器翻譯評(píng)估方法研究.pdf

1、該論文以統(tǒng)計(jì)模型為基礎(chǔ),在參考了大量前人工作的基礎(chǔ)上,對(duì)漢語詞法分析、口語句子切分和機(jī)器翻譯評(píng)估進(jìn)行了較為深入的探討和研究.漢語詞法分析是大部分中文處理的第一步,其重要性不言而喻;句子切分是語音翻譯中連接語音識(shí)別和文本翻譯的橋梁,無論語音識(shí)別和文本翻譯單獨(dú)的效果有多么好,這座橋沒搭好,綜合的性能依然無法提高;機(jī)器翻譯的自動(dòng)評(píng)估是構(gòu)建機(jī)器翻譯系統(tǒng)中很重要的輔助工作,其可以加速翻譯系統(tǒng)的開發(fā)速度,縮短其開發(fā)周期.簡言之,這三方面同屬于自然語

2、言處理的基礎(chǔ)的研究領(lǐng)域,其效果直接影響到高層應(yīng)用的水平.在詞法分析上,我們利用隱馬爾可夫模型(HMM)提出了一種融和了分詞、詞性標(biāo)注和命名實(shí)體識(shí)別的一體化詞法分析方法.最初我們用基于類別的HMM,其優(yōu)點(diǎn)是對(duì)詞的覆蓋面廣,系統(tǒng)開銷小;缺點(diǎn)是不能精確地預(yù)測(cè)詞的出現(xiàn)概率.為了提升模型的準(zhǔn)確率,我們引入基于詞匯的HMM,并將兩者有機(jī)地結(jié)合,并用一個(gè)"詞到字"的概率平滑方法對(duì)基于詞的HMM進(jìn)行平滑.實(shí)驗(yàn)結(jié)果顯示,我們的混合模型由于縮考慮到了字、詞

3、、詞性以及命名實(shí)體的知識(shí),在切分的準(zhǔn)確率和召回率上都明顯優(yōu)于單純基于類別或者基于詞的HMM.此外在分詞系統(tǒng)的實(shí)現(xiàn)上,我們借助對(duì)通用分詞系統(tǒng)APCWS的整體框架和各功能模塊的介紹,討論了如何有效地存儲(chǔ)和加載數(shù)據(jù)等一些技術(shù)細(xì)節(jié)問題.在口語句子切分上,我們提出了基于雙向N元模型和最大熵模型的句子切分算法,這種算法由于通過最大熵有機(jī)地將正、逆向N元切分結(jié)合起來,綜合考慮到了切分點(diǎn)左、右的上下文,從而得到了很好的切分效果.我們?cè)谥?、英文語料上訓(xùn)練

4、我們的模型并作測(cè)試,結(jié)果顯示其在性能上明顯優(yōu)于基本的正向N元切分.在此基礎(chǔ)上,我們分析并對(duì)比了各模型的切分結(jié)果,從而驗(yàn)證了我們當(dāng)初對(duì)于模型的預(yù)計(jì):其一方面保存了正向N元算法的正確切分,一方面用逆向N元算法有效地避免了正向算法的錯(cuò)誤切分.在機(jī)器翻譯的自動(dòng)評(píng)估上,我們首先介紹了兩種常用的基于參考譯文的評(píng)估算法BLEU和NIST,然后給出了一種基于N元模型的句子流暢度評(píng)估方法E3.這種方法不需要借助任何參考譯文,它通過區(qū)別地對(duì)待句子中不同的詞