中文分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、計(jì)算機(jī)科技迅速發(fā)展、不同層次的應(yīng)用需求的涌現(xiàn)，導(dǎo)致了當(dāng)今網(wǎng)絡(luò)數(shù)據(jù)的急劇增加，漢語有著龐大的用戶群體，如何在海量的中文信息中提取出我們想要的，有用的信息呢？第一步當(dāng)然是讓計(jì)算機(jī)能夠“懂得”我們?nèi)祟惖恼Z言。漢語中詞是擁有獨(dú)立意義的最小語言單元。確切的進(jìn)行詞語切分是處理漢語這門自然語言的第一步，也是至關(guān)重要的一步，只有跨過這個(gè)難關(guān)，才談得上更深層次的中文信息處理。
　　本文分析了已有分詞方法的優(yōu)劣，并采用基于統(tǒng)計(jì)與基于規(guī)則相結(jié)合的分詞方

2、法進(jìn)行分詞，取各方法之精髓，彌補(bǔ)各分詞方法力所不及之處。在發(fā)揮隱馬爾科夫模型優(yōu)勢的同時(shí)，輔以有規(guī)則的詞典，提高分詞的效率與準(zhǔn)確率。接下來的重點(diǎn)與難點(diǎn)有二：其一為歧義消除；其二為對未登錄詞的識別。在初步切分處理過程中，采用最短路徑的改進(jìn)算法，本著“知之為知之，不知為不知”的原則，確定或十分有把握的才劃分出來，成為一個(gè)詞語，不能確定的則不作處理。這一步可以保留較大的可能性，交給后續(xù)步驟來處理，分層次來逐步解決問題，盡量使最終分詞結(jié)果達(dá)到最優(yōu)

3、。此處也有最大熵思想的體現(xiàn)。未登錄詞識別主要指人名、地名以及外國人名的中文譯名的識別，漢語博大精深，各種名字更是五花八門，人名由姓氏和名字組成，雖有規(guī)律可循，但隨意性很大，難以通過傳統(tǒng)的規(guī)則方法識別出所有的人名，地名卻相對固定，外國譯名也可以通過調(diào)查得到最常用的譯名，從而事先將其加入詞典，便可以很好的完成對二者的識別工作，本文主要針對人名這個(gè)識別難點(diǎn)，提出了基于上下文環(huán)境的統(tǒng)計(jì)模型，這也源于中文姓名出現(xiàn)的時(shí)候往往都在句中扮演著某種角色，

4、所以加入這種信息，根據(jù)其與前后綴的粘合度來進(jìn)一步判定是否應(yīng)該被識別為人名。在歧義消除方面，歧義分為語義上的和解釋上的兩種，而交叉型歧義和組合型歧義是歧義消除主要解決的兩個(gè)問題。交叉型歧義一般根據(jù)歧義字段本身就能得到很好的切分結(jié)果。組合型歧義相對交叉型歧義來說，需要更多的上下文信息，有時(shí)必須根據(jù)整個(gè)句子來判斷。最大熵模型是一種將上下文信息組合在一起的概率模型，而組合型歧義的消除需要借助上下文信息來判斷，因此最大熵模型適合用于解決組合型歧義