漢字種子混淆集的構(gòu)建方法研究.pdf

1、漢字種子混淆集技術(shù)的研究一直是中文文本自動(dòng)校對(duì)技術(shù)的一個(gè)重要的基礎(chǔ)性課題，也是一個(gè)瓶頸問題，它對(duì)中文文本自動(dòng)校對(duì)技術(shù)的發(fā)展有巨大的推動(dòng)作用。本文對(duì)漢字種子混淆集領(lǐng)域涉及到的主要技術(shù)進(jìn)行了比較全面和仔細(xì)的研究，包括漢字種子在中文文本中出現(xiàn)的錯(cuò)誤類型、大數(shù)據(jù)詞典的存儲(chǔ)方式、中文文本分詞算法、混淆集的排序。
　　本文從一個(gè)新的角度對(duì)漢字混淆集進(jìn)行了研究，通過錯(cuò)別字出現(xiàn)的各種類型來人工創(chuàng)建11935個(gè)漢字可能的錯(cuò)別字；以這些漢字為節(jié)點(diǎn)，“

2、可錯(cuò)成”的關(guān)系為邊，將混淆集構(gòu)造成一個(gè)錯(cuò)別字混淆集圖；在錯(cuò)別字混淆集圖的基礎(chǔ)上，設(shè)計(jì)了自擴(kuò)展算法來發(fā)現(xiàn)內(nèi)部規(guī)則進(jìn)行補(bǔ)充和驗(yàn)證錯(cuò)別字混淆集；通過外部大數(shù)據(jù)來開源補(bǔ)充混淆集，發(fā)現(xiàn)新的錯(cuò)別字對(duì)，并對(duì)每個(gè)種子漢字的混淆集進(jìn)行了排序，最終構(gòu)建一個(gè)種子漢字混淆集字典。根據(jù)實(shí)驗(yàn)，經(jīng)過隨機(jī)抽樣校對(duì)，準(zhǔn)確率達(dá)到87.35％。
　　本文的主要貢獻(xiàn)如下：
　　首先，對(duì)中文文本中出現(xiàn)的錯(cuò)別字形式進(jìn)行了廣泛而深入的研究，通過對(duì)大批量的文本進(jìn)行發(fā)現(xiàn)，整

3、理出中文文本錯(cuò)別字出現(xiàn)的錯(cuò)誤類型，包括音似、形似、相鄰鍵位擊鍵錯(cuò)誤、拼音相同詞組誤選等文本的錯(cuò)誤形式，并對(duì)其進(jìn)行分析，并提出解決的方法。
　　其次，對(duì)漢字種子的錯(cuò)別字混淆集從一個(gè)嶄新的角度對(duì)其進(jìn)行自動(dòng)添加，提出了錯(cuò)別字混淆集圖的概念，并通過對(duì)錯(cuò)別字圖的研究，發(fā)現(xiàn)規(guī)則對(duì)其補(bǔ)充。
　　再次，進(jìn)一步通過大數(shù)據(jù)對(duì)混淆集進(jìn)行自動(dòng)補(bǔ)充，最終形成一部種子漢字混淆集字典。
　　最后，通過錯(cuò)別字的字頻和形相似度對(duì)錯(cuò)別字混淆集進(jìn)行排序，對(duì)