漢語非詞錯誤自動校對系統的研究與實現.pdf

1、漢語文本自動校對的研究一直以來都是自然語言處理領域的難點。隨著互聯網技術的飛速發(fā)展，電子文本數量越來越大，文本錯誤越來越多，其中非詞錯誤是一種常見的錯誤。目前，傳統的漢語自動校對研究大多圍繞自動查錯開展，在糾錯方面的研究相對較少。
　　針對以上問題，本文首先界定漢語錯誤的類型分為“非詞錯誤”和“真詞錯誤”，然后利用統計的方法獲取Web語料中的錯字詞，構建錯字詞知識，獲取的錯字詞知識用于非詞錯誤的自動校對方法。具體研究內容包含以下幾

2、個方面：
　　(1)漢語錯別字分析
　　本文首先對漢語文本中錯別字的原因進行了分析，然后根據漢字的錯誤原因和錯誤詞串的性質對非詞錯誤進行了分類。最后對Web新聞語料中的漢語錯誤進行了統計與分析。
　　(2)錯字詞知識庫自動構建方法
　　實現文本中的非詞錯誤的自動校對，需要大量的知識與資源，其中錯字詞知識就是一種非常重要的知識。本文提出兩種錯字詞自動構建方法，一種是基于模糊匹配與統計相結合的錯字詞知識自動構建方法，

3、該方法以N-gram模型和模糊匹配為基礎，通過上下文統計信息進行驗證，從而得到錯字詞知識；另一種是基于漢字混淆集的錯字詞知識自動構建方法，該方法利用漢字混淆集替換待匹配詞中的漢字生成混淆詞串，再利用統計知識驗證每個混淆詞，從而得到錯字詞知識。
　　(3)基于模糊分詞的非詞錯誤自動校對方法
　　本文利用生成的錯字詞知識與正確詞詞典相結合，對目標語句進行模糊切分形成詞圖，最后利用最短路徑求解方法求得詞圖中的最優(yōu)路徑，從而實現非詞