基于機(jī)器翻譯模型的漢語近音錯(cuò)別字校對方法研究.pdf

1、伴隨人們使用網(wǎng)絡(luò)的頻繁，海量的用戶生成文本由此產(chǎn)生，而用戶生成文本不同于正規(guī)的新聞文本，其可能產(chǎn)生大量的如錯(cuò)別字等非標(biāo)準(zhǔn)的表達(dá)形式。處理非標(biāo)準(zhǔn)文本不僅可以使行文流暢便于閱讀，同時(shí)也可以為后續(xù)文本處理工作打下良好的理論基礎(chǔ)和應(yīng)用基礎(chǔ)。現(xiàn)如今大多數(shù)人都采用拼音輸入法進(jìn)行拼寫，從而帶來大量的近音錯(cuò)別字，因此本文將對漢語近音錯(cuò)別字進(jìn)行深入探究。
　　本文分別采用統(tǒng)計(jì)機(jī)器翻譯和神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯兩種方法對近音錯(cuò)別字展開研究，具體地，本文將從

2、以下三個(gè)方面進(jìn)行研究:
　　(1)基于漢字-拼音-漢字轉(zhuǎn)換的近音錯(cuò)別字語料庫構(gòu)造:用戶生成文本中有大量的音近錯(cuò)別字，但是欲將錯(cuò)別字全部提取出來，不僅花費(fèi)大量的時(shí)間，而且需要大量的人力，因此本文采用自動(dòng)構(gòu)造近音錯(cuò)別字語料庫的方式以解決此問題。本文主要采用模擬正字輸入成錯(cuò)字的過程進(jìn)行錯(cuò)字的正字構(gòu)造，通過正字-拼音-模糊拼音-錯(cuò)字的方式，并加入神經(jīng)網(wǎng)絡(luò)最大熵模型過濾的方法實(shí)現(xiàn)近音錯(cuò)別字語料庫的構(gòu)造。
　　(2)基于統(tǒng)計(jì)機(jī)器翻譯模型

3、的近音錯(cuò)別字校對:本文將錯(cuò)字轉(zhuǎn)為正字看成是從錯(cuò)字翻譯成正字的翻譯問題，本文利用前文構(gòu)造的近音錯(cuò)別字語料庫作為統(tǒng)計(jì)機(jī)器翻譯的平行語料，進(jìn)而生成語言模型和翻譯模型，以達(dá)到對近音錯(cuò)別字進(jìn)行校對的目的。實(shí)驗(yàn)結(jié)果表明統(tǒng)計(jì)機(jī)器翻譯模型用于近音錯(cuò)別字校對問題的有效性以及融入模糊拼音和神經(jīng)網(wǎng)絡(luò)最大熵模型構(gòu)造出來的語料庫對于統(tǒng)計(jì)機(jī)器翻譯校對近音錯(cuò)別字的效果更好。
　　(3)基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯近音錯(cuò)別字校對:本文采用兩種策略分別進(jìn)行漢語近音錯(cuò)別字