基于Hash結(jié)構(gòu)的機(jī)械統(tǒng)計(jì)分詞系統(tǒng).pdf

1、中文分詞作為中文信息處理的基礎(chǔ)，已經(jīng)吸引了眾多國內(nèi)外計(jì)算機(jī)專家的極大興趣，同時(shí)也涌現(xiàn)出了許多中文分詞系統(tǒng)。本文在綜合比較分析了常用的機(jī)械分詞方法和統(tǒng)計(jì)分詞方法基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Hash結(jié)構(gòu)的機(jī)械統(tǒng)計(jì)分詞系統(tǒng)。 為使得機(jī)械分詞方法和統(tǒng)計(jì)分詞方法能有機(jī)結(jié)合，優(yōu)勢(shì)互補(bǔ)，最大發(fā)揮各自性能，本文在如下幾方面作了深入研究：在機(jī)械分詞階段，將最大匹配長(zhǎng)度的賦值方式由靜態(tài)分配改進(jìn)為動(dòng)態(tài)分配，以減少不必要的匹配操作；將詞頻信息作

2、為切分評(píng)估的另一標(biāo)準(zhǔn)，以彌補(bǔ)“長(zhǎng)詞優(yōu)先”標(biāo)準(zhǔn)的不足；采用了Hash分詞詞典機(jī)制，以提高分詞的效率。在統(tǒng)計(jì)分詞階段，為了提高統(tǒng)計(jì)操作的效率，對(duì)分詞單位的概念進(jìn)行了泛化，并把詞頻統(tǒng)計(jì)操作融合于機(jī)械分詞操作，同時(shí)還采用了Hash表來存儲(chǔ)詞頻統(tǒng)計(jì)的結(jié)果，從而提高機(jī)械分詞速度。 在編程實(shí)現(xiàn)系統(tǒng)之后，對(duì)其進(jìn)行了大量語料的測(cè)試。通過歸納統(tǒng)計(jì)、曲線擬合等方法對(duì)系統(tǒng)性能進(jìn)行測(cè)試，發(fā)現(xiàn)該系統(tǒng)對(duì)不同領(lǐng)域、不同文本長(zhǎng)度的語料進(jìn)行分詞操作都會(huì)表現(xiàn)出不同