常用漢字的結(jié)構(gòu)編碼與識(shí)別系統(tǒng).pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，人們希望計(jì)算機(jī)能夠獨(dú)立完成更具有挑戰(zhàn)性的工作。光學(xué)字符識(shí)別(Optical Character Recognition，OCR)教給計(jì)算機(jī)一定的規(guī)則，讓計(jì)算機(jī)自動(dòng)辨識(shí)印刷在紙上或人寫在紙上的文字。是自然語(yǔ)言處理領(lǐng)域十分重要的研究方向，涉及到人工智能、數(shù)字圖像處理、模式識(shí)別、自然語(yǔ)言理解、信息論等諸多學(xué)科。實(shí)現(xiàn)對(duì)字符的高效處理，從中找出有價(jià)值的信息在當(dāng)今科學(xué)技術(shù)迅速發(fā)展的時(shí)代，對(duì)這一技術(shù)提出了更高的要求。

2、　　目前，字符識(shí)別技術(shù)的水平與實(shí)際的需求之間仍然存在著一定的距離。已有的識(shí)別方法尚未能得到十分理想的效果。由于字符的字形變化多種多樣，印刷體的字符存在字體的差異，而手寫體字符的形狀更沒有統(tǒng)一的規(guī)則。在所有字符中，漢字字符的識(shí)別技術(shù)又因其數(shù)量眾多，字體多變、結(jié)構(gòu)復(fù)雜而困難重重。已有的漢字識(shí)別系統(tǒng)大都對(duì)所有漢字字符進(jìn)行處理，而漢字字符中許多形近字之間僅有一個(gè)筆劃的差異，更增加了區(qū)分的難度。
　　日常生活中常用的漢字為3500個(gè)，其中常

3、用字2500個(gè)與次常用字1000個(gè)，統(tǒng)稱為常用字。經(jīng)計(jì)算機(jī)抽樣檢測(cè)，常用字在語(yǔ)料中的覆蓋率達(dá)到99.48％。結(jié)合實(shí)際應(yīng)用需求考慮，雖然文字資料中會(huì)出現(xiàn)部分非常用字，甚至還有某些生僻字，但它們只在特定的場(chǎng)合才會(huì)用到，用于輸入及書寫的漢字均在常用字范圍內(nèi)。據(jù)此，將待處理的漢字字符限定在常用字范圍內(nèi)，即需要識(shí)別的漢字字符僅為3500個(gè)常用字，可以滿足一般的通信要求。
　　通過降低待識(shí)別字符的數(shù)量可以降低識(shí)別難度。另外，盡管漢字字形多變，

4、但事實(shí)上，漢字中有固定的筆劃結(jié)構(gòu)，在五筆輸入法中稱之為字根。它們是構(gòu)成漢字的基本結(jié)構(gòu)，字形穩(wěn)定，且字根本身攜帶一定的意義。因?yàn)闈h字是從象形文字發(fā)展演變而來的，有的字形實(shí)際上就是物體的形象化表示。五筆輸入法中統(tǒng)計(jì)出約125個(gè)字根，用它們將所有的漢字的結(jié)構(gòu)進(jìn)行表示。字根可以看作二維的碼元，漢字就是二維的編碼。由于漢字字符是具有不同字形的符號(hào)，故用字符中的筆劃結(jié)構(gòu)對(duì)漢字進(jìn)行編碼可以實(shí)現(xiàn)編碼的唯一性。
　　本文對(duì)五筆輸入法中所使用的字根做

5、了篩選，選用93個(gè)字根對(duì)3149個(gè)常用漢字進(jìn)行編碼，得到一張漢字的字根編碼表。同時(shí)，對(duì)字根的字形特征進(jìn)行了細(xì)致分析。首先提取筆劃特征，通過分析字形中筆劃?rùn)M與筆劃豎的數(shù)量與分布來描述一個(gè)漢字字符。然后分析各個(gè)子類中的字符的結(jié)構(gòu)特征，提取出具有較高區(qū)分度的特征。最后結(jié)合字符的結(jié)構(gòu)特征與筆劃特征進(jìn)行識(shí)別以提高匹配的速度與識(shí)別的準(zhǔn)確度。
　　本文中還提出了一個(gè)基于字根編碼的漢字識(shí)別系統(tǒng)的框架。輸入時(shí)將不再輸入完整的漢字，而是輸入該漢字在字