綜合字典和統(tǒng)計(jì)分析的中文分詞系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、中文分詞技術(shù)主要包含以下三個(gè)研究方向：理解分詞，機(jī)械分詞以及統(tǒng)計(jì)分詞。基于理解的分詞方法研究尚未成熟，所以，絕大部分中文分詞系統(tǒng)是應(yīng)用機(jī)械統(tǒng)計(jì)相結(jié)合的方法。在目前主流的詞典和統(tǒng)計(jì)相結(jié)合的分詞系統(tǒng)中，統(tǒng)計(jì)策略和詞典設(shè)計(jì)的關(guān)系往往是相互獨(dú)立的，詞典主要是作為機(jī)械分詞的標(biāo)準(zhǔn)，而基于統(tǒng)計(jì)的方法主要是為了解決歧義問題以及未登錄詞的識(shí)別問題。
　　 本文所闡述的中文分詞系統(tǒng)，將基于分詞核心詞典的機(jī)械分詞和基于統(tǒng)計(jì)的方法組成了一個(gè)有機(jī)的整體。

2、系統(tǒng)將統(tǒng)計(jì)得出的結(jié)果作為分詞核心詞典的輸入，對(duì)于待切分文本來(lái)說(shuō)，對(duì)于未登錄詞和詞典詞條，本文算法的本質(zhì)均是先基于統(tǒng)計(jì)的方法擴(kuò)充核心詞典，然后采用基于字符串匹配的分詞方法切詞。
　　 總體上講，本系統(tǒng)具有以下三方面的特點(diǎn)。專用性：適合計(jì)算機(jī)學(xué)科專業(yè)領(lǐng)域的分詞，這主要取決于訓(xùn)練文本的選擇；分詞效率高：算法核心是基于字符串匹配的方法：分詞精度較好：利用簡(jiǎn)單統(tǒng)計(jì)量模型與機(jī)械分詞的有機(jī)結(jié)合解決了部分歧義詞和未登錄詞問題。
　　 解

3、決方案中涉及到的關(guān)鍵技術(shù)主要包括以下三個(gè)部分：
　　 第一、分詞詞典的設(shè)計(jì)。在整體結(jié)構(gòu)上，詞典分成兩級(jí)結(jié)構(gòu)，臨時(shí)詞典和核心詞典。臨時(shí)詞典是通過(guò)統(tǒng)計(jì)方法將新詞條向分詞核心詞典中輸送的中間容器。核心詞典是分詞系統(tǒng)中切分的唯一依據(jù)，為了提高查詢速度，結(jié)合中文二字詞比例較大的特點(diǎn)，核心詞典采用雙層哈希結(jié)構(gòu)。
　　 第二、統(tǒng)計(jì)策略的制定。歧義詞和新詞的識(shí)別主要依靠基于統(tǒng)計(jì)的方法，本文選擇了基于互信息原理的方法進(jìn)行詞頻統(tǒng)計(jì)。該統(tǒng)計(jì)模