中文文本錯誤自動校對方法的研究.pdf

1、Kukich從智能處理技術(shù)的角度將英文的文本錯誤分成兩大類：孤立詞錯誤(isolated-worderror)和上下文依賴詞錯誤(context-dependentworderror)。孤立詞錯誤是一些拼寫上的錯誤；上下文依賴的詞錯誤，又稱文本錯誤，本身沒有拼寫上的問題，即它是個正確的詞，但該詞不是當(dāng)前文本所需要的。與孤立詞錯誤校對技術(shù)比較，文本錯誤校對技術(shù)更加復(fù)雜，因為它涉及到幾乎所有自然語言處理技術(shù)。漢語的語言特點決定了它只存在上下

2、文依賴錯誤，文中稱為中文文本錯誤，而沒有孤立詞錯誤。本文圍繞中文文本錯誤的自動校對問題進(jìn)行了深入研究。傳統(tǒng)的文本錯誤由人工進(jìn)行校對，耗費大量人力、物力、財力，無法適應(yīng)信息社會的需要。因此，中文文本錯誤自動校對模型的研究具有廣泛的社會應(yīng)用背景和促進(jìn)社會進(jìn)步的實用價值。 本文首先討論了文本校對任務(wù)的一般解決方案、常用方法及校對方法的評價標(biāo)準(zhǔn)；通過對實驗結(jié)果，詳盡地分析了校對工作中的關(guān)鍵問題，進(jìn)而提出本文的基于受限N元文法與權(quán)重動態(tài)分

3、配的中文錯誤校對模型的總體框架。 其次，本文闡述了基于受限N元文法與權(quán)重動態(tài)分配的中文錯誤校對模型之錯誤檢測部分。利用中文文本錯誤的字詞特性及錯誤檢測中的常用方法，提出了基于受限N元文法的文本錯誤自動檢測方法。由于發(fā)生錯誤的字詞很可能造成其周邊文本的語義斷續(xù)，該方法首先設(shè)定被檢測詞的局部文本窗口，通過觀察被檢測詞的前項概率和后項概率，尋找局部文本上的語義斷點，從而確定可能存在文本錯誤的可疑文本區(qū)間。區(qū)分因文本錯誤造成的數(shù)據(jù)稀疏同

4、因訓(xùn)練語料規(guī)模過小造成的正常數(shù)據(jù)稀疏是文本校對中的難題，本文采用三種平滑策略來解決，即收縮文本窗口、后延平滑及詞聚類平滑。本文還通過大量實驗數(shù)據(jù)分析說明了錯誤斷點閾值對自動檢測方法性能的影響。實驗顯示，該錯誤檢測方法的錯誤警告準(zhǔn)確率高于其他相比較的檢測模型。另外，本文還探索了利用詞的語義知識對文本錯誤進(jìn)行自動檢測的方法，分析漢語詞的語義氛圍，提出詞語義支持集的概念，利用語境信息給出詞語義節(jié)點投票函數(shù)，并將詞語義節(jié)點投票機(jī)制運(yùn)用于文本錯誤

5、的自動檢測，詳細(xì)討論了投票閾值對該錯誤檢測方法性能的影響。 再次，本文闡述了基于受限N元文法與權(quán)重動態(tài)分配的中文錯誤校對模型之錯誤修正部分。在編輯距離及易混淆集的概念基礎(chǔ)上，給出錯誤字符易混淆集的自動構(gòu)建方法及中文文本最小編輯距離算法；分析了易混淆集字符的分類特征，進(jìn)而給出易混淆集中候選字符的權(quán)重動態(tài)二次分配算法，提出基于字符權(quán)重動態(tài)自動分配的錯誤修正策略。通過實驗數(shù)據(jù)，分析了這種權(quán)重分配算法的效率及對錯誤修正策略的影響。在同一

6、開放測試集上，對多個文本錯誤修正平臺進(jìn)行了測試并比較，數(shù)據(jù)表明本文的基于字符權(quán)重動態(tài)自動分配的錯誤修正策略優(yōu)于其它相比較的錯誤修正模型。 最后，為降低文本中的專有名詞對校對模型性能的干擾，本文討論了中文人名的構(gòu)成規(guī)律、姓氏用字規(guī)律，分析了中文人名存在的上下文環(huán)境信息，從而提出校對環(huán)境下的統(tǒng)計加規(guī)則的中文人名自動識別方法。實驗表明該方法可以使人名識別的準(zhǔn)確率和召回率達(dá)到90％以上，基本滿足校對模型的需要。鑒于確定多義詞詞義對利用語