中文分詞關(guān)鍵技術(shù)研究.pdf

1、中文分詞就是將中文連續(xù)的字序列按照一定的規(guī)則重新組合成詞序列的過程。其作為中文信息處理的基礎(chǔ)，已經(jīng)被廣泛應(yīng)用于相關(guān)領(lǐng)域。因此，對(duì)中文分詞的研究具有重要的理論和現(xiàn)實(shí)意義。本文將重點(diǎn)研究中文分詞的詞典機(jī)制、歧義消除、切分算法等技術(shù)。 本文鑒于語言的統(tǒng)計(jì)規(guī)律性，中文分詞算法使用詞典和統(tǒng)計(jì)相結(jié)合的方法。在核心詞典的組織方面，考慮到詞典查找的時(shí)間效率、存儲(chǔ)的空間效率、漢語詞組的統(tǒng)計(jì)規(guī)律等特點(diǎn)，使用雙字Hash索引分詞詞典機(jī)制，僅對(duì)詞組的前

2、兩個(gè)字符依次建立Hash索引，構(gòu)成深度為2的Trie樹，詞組的剩余字串則按序組成詞典正文。歧義消除和未登錄詞識(shí)別是中文分詞的兩大技術(shù)難點(diǎn)，本文重點(diǎn)研究交叉型歧義的檢測和消除。本文提出一種新的方法來檢測交叉型歧義產(chǎn)生的位置，即將所有候選詞條表示成二元切分詞圖，若原子字符的上方和右方同時(shí)不為空，則此處存在交叉型歧義。對(duì)于交叉型歧義的消除，則使用雙字耦合度和t-測試差相結(jié)合的方法來判斷是否切分。最后，把所有候選詞條以及它們之間的相鄰共現(xiàn)概率表