中文分詞在農(nóng)業(yè)垂直搜索引擎中的應(yīng)用研究.pdf

1、本文首先對現(xiàn)有中文分詞相關(guān)理論和方法以及存在的主要問題進(jìn)行了深入分析,重點(diǎn)研究了統(tǒng)計(jì)模型在自然語言處理領(lǐng)域中的應(yīng)用。在此基礎(chǔ)上針對農(nóng)業(yè)垂直搜索領(lǐng)域的特殊需求及應(yīng)用環(huán)境,提出了基于詞典和統(tǒng)計(jì)語言模型的中文分詞方法。該方法通過改進(jìn)的全切分算法建立分詞矩陣,實(shí)現(xiàn)了所有類型歧義的識別,生成粗分結(jié)果集,然后利用 N元語法模型從中選擇概率最大的切分結(jié)果,經(jīng)過基于最大熵模型的詞位標(biāo)注方法識別未登錄詞后得出最終的分詞結(jié)果,最后給出了基于此方法的中文分詞

2、原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。
　　本文提出的分詞方法在三個方面進(jìn)行了改進(jìn),首先是通過大規(guī)模語料庫識別具有切分標(biāo)志意義的特征字建立特征字庫,通過特征字對經(jīng)過預(yù)處理的語句集進(jìn)行初步切分,有效降低了粗分階段的字串長度。其次采用改進(jìn)的全切分模型,通過字位標(biāo)注建立分詞矩陣,能夠有效檢測歧義邊界,識別所有類型的歧義,并篩選出包含歧義的切分形式,通過bigram模型進(jìn)行概率計(jì)算,選擇最優(yōu)切分形式。最后,建立農(nóng)業(yè)專業(yè)術(shù)語、中文人名、中文機(jī)構(gòu)名專業(yè)詞庫,

3、統(tǒng)計(jì)構(gòu)詞規(guī)律,選擇合適的特征模板,生成樣本數(shù)據(jù),利用詞位標(biāo)注的思想,通過最大熵模型實(shí)現(xiàn)對未登錄詞的識別。
　　本文設(shè)計(jì)了三個方面的實(shí)驗(yàn),對改進(jìn)的全切分算法和傳統(tǒng)全切分算法的性能進(jìn)行比較;在4詞位標(biāo)注集上選擇不同的上下文窗口寬度對基于最大熵模型的未登錄詞識別率的比較;將該原型系統(tǒng)與 ICTCLAS、Paoding以及 IKAnalyzer進(jìn)行綜合性能的比較。實(shí)驗(yàn)結(jié)果表明,使用本文提出的分詞模型的原型系統(tǒng)召回率達(dá)到93.6％,準(zhǔn)確率達(dá)