基于機器翻譯模型的漢語近音錯別字校對方法研究.pdf

1、伴隨人們使用網絡的頻繁，海量的用戶生成文本由此產生，而用戶生成文本不同于正規(guī)的新聞文本，其可能產生大量的如錯別字等非標準的表達形式。處理非標準文本不僅可以使行文流暢便于閱讀，同時也可以為后續(xù)文本處理工作打下良好的理論基礎和應用基礎。現(xiàn)如今大多數(shù)人都采用拼音輸入法進行拼寫，從而帶來大量的近音錯別字，因此本文將對漢語近音錯別字進行深入探究。
　　本文分別采用統(tǒng)計機器翻譯和神經網絡的機器翻譯兩種方法對近音錯別字展開研究，具體地，本文將從

2、以下三個方面進行研究:
　　(1)基于漢字-拼音-漢字轉換的近音錯別字語料庫構造:用戶生成文本中有大量的音近錯別字，但是欲將錯別字全部提取出來，不僅花費大量的時間，而且需要大量的人力，因此本文采用自動構造近音錯別字語料庫的方式以解決此問題。本文主要采用模擬正字輸入成錯字的過程進行錯字的正字構造，通過正字-拼音-模糊拼音-錯字的方式，并加入神經網絡最大熵模型過濾的方法實現(xiàn)近音錯別字語料庫的構造。
　　(2)基于統(tǒng)計機器翻譯模型

3、的近音錯別字校對:本文將錯字轉為正字看成是從錯字翻譯成正字的翻譯問題，本文利用前文構造的近音錯別字語料庫作為統(tǒng)計機器翻譯的平行語料，進而生成語言模型和翻譯模型，以達到對近音錯別字進行校對的目的。實驗結果表明統(tǒng)計機器翻譯模型用于近音錯別字校對問題的有效性以及融入模糊拼音和神經網絡最大熵模型構造出來的語料庫對于統(tǒng)計機器翻譯校對近音錯別字的效果更好。
　　(3)基于神經網絡的機器翻譯近音錯別字校對:本文采用兩種策略分別進行漢語近音錯別字