面向文本識(shí)別流的自動(dòng)校對(duì)算法研究.pdf

1、隨著電子信息的飛速發(fā)展，各種中文輸入技術(shù)被應(yīng)用在電子信息的錄入過(guò)程中。但是各種輸入方法或者是由于用戶(hù)的關(guān)系，或者是程序本身算法的關(guān)系，都不能保證輸入信息100％的正確性。在知識(shí)信息化和出版電子化飛速發(fā)展的今天，文本手工校對(duì)不管是在時(shí)間上還是在人力成本上，都不能滿(mǎn)足人們的需要。文本識(shí)別流的自動(dòng)校對(duì)成為了亟需解決的問(wèn)題。中文文本自動(dòng)校對(duì)的研究總的來(lái)說(shuō)還處在剛剛起步的階段，從事這方面研究的人員還不是很多，公開(kāi)發(fā)表的論文也比較少，已經(jīng)提出的技術(shù)

2、并沒(méi)有針對(duì)特定的文本識(shí)別流做專(zhuān)門(mén)的研究。所以說(shuō)，本文的研究工作具有一定的現(xiàn)實(shí)意義和實(shí)際應(yīng)用價(jià)值。 現(xiàn)在的自動(dòng)校對(duì)中的查錯(cuò)主要采用三種方法: ①利用文本上下文的字、詞和詞性等局部語(yǔ)言特征；②利用轉(zhuǎn)移概率對(duì)相鄰詞間的接續(xù)關(guān)系進(jìn)行分析；③利用規(guī)則或語(yǔ)言學(xué)知識(shí)。糾錯(cuò)方法主要有模式匹配，替換字表和似然匹配技術(shù)。本文在分析了文本識(shí)別流的特性的基礎(chǔ)上，設(shè)計(jì)了面向文本識(shí)別流的文本校對(duì)算法。算法主要包括以下幾個(gè)重要部分：提出了應(yīng)用于自動(dòng)校對(duì)處理的

3、分詞和詞性標(biāo)注一體化算法；通過(guò)對(duì)各種信息錄入方式的錄入過(guò)程分析，得到錄入錯(cuò)誤產(chǎn)生的原因與規(guī)律，并以此規(guī)律實(shí)現(xiàn)詞條的混淆集生成算法；主校對(duì)程序采用了概率分析的方法，基于2-gram模型，實(shí)現(xiàn)查錯(cuò)和糾錯(cuò)一體化的算法，最終將校對(duì)中糾錯(cuò)建議的生成問(wèn)題抽象成有向無(wú)回圖的最短路徑求取問(wèn)題；對(duì)程序進(jìn)行了改進(jìn)和最優(yōu)化處理，通過(guò)對(duì)測(cè)試集的處理，確定最優(yōu)化的程序參數(shù)。在算法的實(shí)現(xiàn)上，本文采用了動(dòng)態(tài)規(guī)劃算法，大大減少了算法的時(shí)空復(fù)雜度。在處理過(guò)程上，系統(tǒng)首先

4、對(duì)熟語(yǔ)料進(jìn)行訓(xùn)練操作，得到相關(guān)的統(tǒng)計(jì)信息；然后通過(guò)對(duì)測(cè)試語(yǔ)料集的處理，得到程序的最優(yōu)化參數(shù)；然后用算法處理待校對(duì)文本，得到該校對(duì)算法的查準(zhǔn)率、查全率，糾準(zhǔn)率及糾全率；最后對(duì)算法的結(jié)果進(jìn)行分析，提出改進(jìn)意見(jiàn)。 本文的主要?jiǎng)?chuàng)新點(diǎn)在于：①針對(duì)不同識(shí)別流類(lèi)型，例如拼音輸入和五筆字形輸入，提出了混淆集生成的具體算法；②分析文本識(shí)別流中錯(cuò)誤的特點(diǎn)，以此選擇制定合理有效的分詞和詞性標(biāo)注算法；③使用最優(yōu)化方法，確定程序中的參數(shù)，其中包括混淆集元