基于領(lǐng)域語(yǔ)料庫(kù)的中文自動(dòng)分詞系統(tǒng)的研究.pdf

1、中文自動(dòng)分詞是中文信息處理中的一個(gè)重要環(huán)節(jié)，長(zhǎng)期以來(lái)一直是人們研究的熱點(diǎn)和難點(diǎn)。在中文信息處理中，分詞廣泛應(yīng)用于信息檢索、機(jī)器翻譯、自動(dòng)問(wèn)答系統(tǒng)、文本挖掘等領(lǐng)域。計(jì)算機(jī)對(duì)于中文的處理相對(duì)于西文的處理存在更大的難度，集中體現(xiàn)在對(duì)文本分詞的處理上。本文介紹了中文自動(dòng)分詞現(xiàn)狀和存在的困難，以及目前常用的一些切分算法，在對(duì)常用的中文分詞算法分析比較的基礎(chǔ)上，采用基于詞典的正向減字最大匹配算法；建立了具有三級(jí)索引的首字Hash表的詞典結(jié)構(gòu)，該結(jié)構(gòu)

2、與改進(jìn)的正向最大匹配法形成統(tǒng)一；在歧義處理方面，本文采用了統(tǒng)計(jì)和規(guī)則相結(jié)合的歧義消除策略實(shí)現(xiàn)了通用語(yǔ)料的交集型歧義、組合型歧義以及專業(yè)語(yǔ)料的組合型歧義的識(shí)別和消除。 本文對(duì)詞典文件進(jìn)行了重組，通過(guò)計(jì)算首字偏移量的方法建立索引表，并根據(jù)詞長(zhǎng)由長(zhǎng)到短的順序形成詞語(yǔ)鏈，進(jìn)一步縮小了匹配范圍、減少了匹配次數(shù)；對(duì)正向減字最大匹配算法進(jìn)行了改進(jìn)，其匹配算法的時(shí)間復(fù)雜度是O(n)，n為詞表中以某字為首字的平均詞的個(gè)數(shù)。實(shí)驗(yàn)顯示，相比其它的算法

3、，有效的提高了切分速度。 作者對(duì)分詞詞典的建立方式、分詞步驟及歧義字段的處理提出了新的改進(jìn)方法，提高了分詞的完整性和準(zhǔn)確性，并在VC++6.0集成開(kāi)發(fā)環(huán)境中實(shí)現(xiàn)了完整的基于計(jì)算機(jī)領(lǐng)域語(yǔ)料庫(kù)的中文自動(dòng)分詞系統(tǒng)。最后分析比較了現(xiàn)有的中文分詞算法和本文所描述的分詞算法在分詞效率和精度的差異，并以有針對(duì)性的文本為例進(jìn)行了測(cè)試，對(duì)所用方法進(jìn)行了驗(yàn)證。這一課題的研究及其成果對(duì)于中文信息處理中的多種領(lǐng)域的分詞和歧義處理，都將具有一定的參考價(jià)值