結(jié)合N-gram模型與句法分析的語(yǔ)法糾錯(cuò).pdf

1、電子文本往往包含各種錯(cuò)誤，糾錯(cuò)環(huán)節(jié)的工作量較大，人工糾錯(cuò)的方式已經(jīng)無(wú)法解決迅速增長(zhǎng)的電子文本。為此利用計(jì)算機(jī)自動(dòng)對(duì)文本進(jìn)行糾錯(cuò)顯得越來(lái)越重要。語(yǔ)法糾錯(cuò)算法(Grammatical Error Correction，GEC)也受到了許多研究者的重視，許多GEC方法應(yīng)運(yùn)而生。
　　目前的語(yǔ)法糾錯(cuò)方法主要包括基于規(guī)則的方法、基于N-gram模型的方法和基于句法分析的方法，這些方法存在以下問(wèn)題:
　　(1)基于規(guī)則的方法需要建立大規(guī)

2、模的規(guī)則庫(kù)。在不斷添加硬性規(guī)則的同時(shí)，規(guī)則之間會(huì)出現(xiàn)互相矛盾的情況，嚴(yán)重降低糾錯(cuò)效率和準(zhǔn)確率。試圖用有限的規(guī)則去規(guī)范復(fù)雜的真實(shí)語(yǔ)言，顯然是不合理的。
　　(2)基于N-gram的方法無(wú)法兼顧長(zhǎng)距相依問(wèn)題和數(shù)據(jù)稀疏問(wèn)題。N-gram模型只能描述句子中的局部聯(lián)系，當(dāng)句子中的成分間距超過(guò)N-gram長(zhǎng)度時(shí)，該糾錯(cuò)算法就失去了糾錯(cuò)能力。另一方面，當(dāng)N-gram長(zhǎng)度足夠長(zhǎng)時(shí)，雖然能解決長(zhǎng)距問(wèn)題，但是會(huì)出現(xiàn)數(shù)據(jù)稀疏問(wèn)題，同樣會(huì)使算法失效。

3、r>　　(3)基于句法分析的方法無(wú)法有效糾正局部錯(cuò)誤。在某些靠局部聯(lián)系決定詞語(yǔ)用法的情況下，句法分析會(huì)忽略這種聯(lián)系，導(dǎo)致糾錯(cuò)失敗。
　　本文針對(duì)上述問(wèn)題提出了一種結(jié)合句法分析與N-gram模型的糾錯(cuò)方法具體工作工作如下:
　　(1)首先使用句法分析，將英語(yǔ)復(fù)句分割成多個(gè)分句;然后對(duì)每個(gè)句子N-gram建模，得出每個(gè)分句的概率;最后為分句賦予權(quán)值，所有分句概率求積得到復(fù)句概率。
　　(2)考慮到N的值過(guò)大會(huì)出現(xiàn)數(shù)據(jù)稀疏以