基于后綴數(shù)組SALM模型的中文分詞研究.pdf

1、自然語言處理(NLP)是語言學和人工智能的一個交叉域,它研究人類自然語言的自動化產(chǎn)生和理解的問題,對于漢語來說,它涉及自動分詞、詞法分析、語法分析和語義分析等。其中,自動分詞是語言處理其它方面的關鍵和前提。特別是隨著中國計算機科學的發(fā)展,中文自動分詞已經(jīng)成為一項基礎性課題。很多機構(gòu)如公司、院校都成立了專門的研究部門,希望在中文自動分詞技術有所突破。目前分詞算法大概有幾十種,可以歸納為三類：基于字符串匹配的機械分詞、基于概率論和信息論的統(tǒng)

2、計分詞和基于理解的分詞方法。由于中文自身的復雜性,中文自動分詞有兩個難點很難解決——歧義識別和未登錄詞識別。解決某一個難點已經(jīng)成為評價一個分詞系統(tǒng)好壞的重要標志之一。其它重要標志還包括分詞準確率、召回率、分詞速度等。 本文開始介紹了機械分詞技術、統(tǒng)計分詞技術。然后,提出并實現(xiàn)了一個基于后綴數(shù)組和句子字詞表的分詞方法。后綴數(shù)組是信息檢索領域的通用高效技術,本文系統(tǒng)利用SAI_,M模型得到高頻詞條,經(jīng)減枝后,用Berkeley DB