基于全切分和碎片提取的中文自動(dòng)分詞系統(tǒng).pdf

1、中文自動(dòng)分詞是中文自然語(yǔ)言處理的一項(xiàng)基礎(chǔ)性工作，也是中文信息處理的一個(gè)重要問(wèn)題，在很多領(lǐng)域扮演著非常重要的角色。中文自動(dòng)分詞系統(tǒng)是利用計(jì)算機(jī)對(duì)中文文本進(jìn)行詞語(yǔ)自動(dòng)切分的系統(tǒng)。我國(guó)很早就開(kāi)始了這一方面的研究工作，己經(jīng)取得了很多成果，涌現(xiàn)出大量的基于各種算法的分詞系統(tǒng)。但是真正滿(mǎn)足實(shí)際需要的分詞系統(tǒng)還沒(méi)有出現(xiàn)，有待于進(jìn)一步深入探討。 本文對(duì)已經(jīng)出現(xiàn)的分詞算法進(jìn)行了總結(jié)，對(duì)各種算法進(jìn)行了優(yōu)缺點(diǎn)的分析，并結(jié)合漢語(yǔ)本身的特點(diǎn)指出了影響分詞

2、系統(tǒng)性能提高的主要因素。 本文的主要工作是：針對(duì)中文分詞系統(tǒng)實(shí)現(xiàn)中的主要難點(diǎn)——歧義切分和未登錄詞識(shí)別，進(jìn)行了一些有意義的探討，提出了一種基于改進(jìn)的全切分算法的粗分模型和基于碎片提取的未登錄詞處理相結(jié)合的方法。 按照通用的、已經(jīng)成為標(biāo)準(zhǔn)的分詞系統(tǒng)評(píng)價(jià)標(biāo)準(zhǔn)(準(zhǔn)確率P，召回率R和平均值F)，對(duì)基于該方法的分詞系統(tǒng)進(jìn)行了小規(guī)模開(kāi)放測(cè)試，試驗(yàn)取得了比較好的結(jié)果，說(shuō)明該方法對(duì)以后的自動(dòng)分詞研究有一定的參考價(jià)值。 文章的最后