基于文本類別的層次中文分詞算法研究.pdf

1、隨著社會(huì)信息化的發(fā)展，無(wú)論是黨政機(jī)關(guān)，還是公司企業(yè)學(xué)校，人們更青睞于用電子文檔的形式來(lái)存儲(chǔ)、備份文檔。于是電子信息迅速增長(zhǎng)成了海量信息，這給人們從中獲取自己所需的信息增加了很大的困難，所以必須對(duì)海量信息進(jìn)行處理，中文分詞技術(shù)就是中文信息處理的基礎(chǔ)。經(jīng)過(guò)十幾年的研究發(fā)展中文分詞技術(shù)有了很大突破，但是中文分詞系統(tǒng)始終存在著不足，這是由于中文語(yǔ)言的復(fù)雜性導(dǎo)致的。
　　 為了提高中文分詞系統(tǒng)的準(zhǔn)確率，通過(guò)對(duì)中文分詞現(xiàn)狀的學(xué)習(xí)，深入研究了

2、常用的中文分詞算法和各種分詞詞典結(jié)構(gòu)，提出了改進(jìn)算法。本文提出了一個(gè)基于雙數(shù)組的逆向匹配分詞算法，在詞典結(jié)構(gòu)上，使用雙數(shù)組詞典，它繼承了TRIE索引樹(shù)逐字匹配的特點(diǎn)，節(jié)省了空間，提高了查詢效率；在匹配算法上，根據(jù)統(tǒng)計(jì)在同等條件下，單純使用逆向最大匹配比正向最大匹配的錯(cuò)誤率低，所以本文實(shí)現(xiàn)的算法是結(jié)合了雙數(shù)組和逆向匹配的優(yōu)點(diǎn)。從實(shí)驗(yàn)結(jié)果來(lái)看，這種結(jié)合了雙數(shù)組逆序詞典結(jié)構(gòu)和逆向匹配的中文分詞算法取得了較好的成果。
　　 為了給算法提

3、供一個(gè)好的應(yīng)用環(huán)境，本文設(shè)計(jì)了一個(gè)基于文檔類別的層次中文分詞系統(tǒng)。一般說(shuō)來(lái)，分詞模型不考慮文本的類別屬性，然而對(duì)于類別信息豐富、復(fù)雜度大、專業(yè)性強(qiáng)的知識(shí)管理應(yīng)用系統(tǒng)而言，就需要更具針對(duì)性的分詞方式。這種基于文檔類別的中文分詞系統(tǒng)模型，分為輸入層、分類層、分詞層、數(shù)據(jù)層；數(shù)據(jù)層的詞典有四種：分別是基礎(chǔ)信息詞典、核心詞典、專業(yè)詞典和臨時(shí)詞典。由于專業(yè)詞典具有針對(duì)性，占用空間小，靈活性高，易更新，使得未登錄詞能及時(shí)得到補(bǔ)充。該系統(tǒng)能夠?qū)y帶分