基于雙字哈希的PAT樹(shù)詞典機(jī)制的研究.pdf

1、中文自動(dòng)分詞是中文信息領(lǐng)域中的一項(xiàng)重要的基礎(chǔ)性工作,同時(shí)中文信息處理技術(shù)也是重要的計(jì)算機(jī)技術(shù),它已廣泛地滲透到如數(shù)據(jù)庫(kù)技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)、軟件工程等計(jì)算機(jī)應(yīng)用領(lǐng)域中。由于中文文本詞問(wèn)無(wú)間隙且按句連寫(xiě),因此在中文文本處理中,詞的正確切分問(wèn)題是首要問(wèn)題。高效準(zhǔn)確的分詞系統(tǒng)在是信息處理的必要條件。
　　 本文論述了基于雙字哈希的PAT樹(shù)詞典機(jī)制及基于該機(jī)制的分詞詞典的建立問(wèn)題。本文對(duì)三種典型的分詞詞典機(jī)制、基于雙字哈希的詞典機(jī)制、基于P

2、AT樹(shù)的詞典機(jī)制及四字哈希詞典機(jī)制進(jìn)行了探討與研究,并針對(duì)這些機(jī)制存在的問(wèn)題提出了改進(jìn)措施。雙字哈希的詞典機(jī)制針對(duì)中文文本中雙字詞占較大比例的特點(diǎn),利用哈希查找的高效性,對(duì)詞條的前兩字采用哈希散列的方法。通過(guò)實(shí)驗(yàn)證明,這種詞典機(jī)制在雙字詞的處理上效率較高,但在多字詞的處理上有待提高?；赑AT樹(shù)的詞典機(jī)制在時(shí)間效率上有優(yōu)越性,但卻需要更多的存儲(chǔ)空間。針對(duì)這樣的情況,本文提出了基于雙字哈希的PAT樹(shù)詞典機(jī)制,并對(duì)基于該機(jī)制詞典的查詢(xún)及更新

3、進(jìn)行了詳細(xì)的論述?；陔p字哈希的PAT樹(shù)詞典機(jī)制不僅吸取了雙字哈希處理雙字詞的高效性,同時(shí)也將多字詞切分的時(shí)間效率提高。由于對(duì)前兩字采用哈希散列,PAT樹(shù)的深度也得到了控制。
　　 本文對(duì)基于雙字哈希的PAT樹(shù)詞典的生成過(guò)程也進(jìn)行了描述,并且在3GWS分詞系統(tǒng)中加載了該機(jī)制的詞典,對(duì)其時(shí)間及空間效率進(jìn)行了測(cè)試。實(shí)驗(yàn)證明,基于雙字哈希的PAT樹(shù)詞典機(jī)制,在時(shí)間效率上較逐字二分詞典機(jī)制及雙字哈希機(jī)制均有明顯提高,在空間效率上較PAT

4、樹(shù)機(jī)制有了很大改善,并且在詞典的更新方面效率也較高。
　　 本文分析了常用的機(jī)械分詞方法和統(tǒng)計(jì)分詞方法基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于機(jī)械與統(tǒng)計(jì)相結(jié)合的分詞系統(tǒng)。為使得機(jī)械分詞方法和統(tǒng)計(jì)分詞方法能有機(jī)結(jié)合,優(yōu)勢(shì)互補(bǔ),最大發(fā)揮各自性能,本文在如下幾方面作了深入研究:在機(jī)械分詞階段,將最大匹配長(zhǎng)度的賦值方式由靜態(tài)分配改進(jìn)為動(dòng)態(tài)分配,以減少不必要的匹配操作;將詞頻信息作為切分評(píng)估的另一標(biāo)準(zhǔn),以彌補(bǔ)“長(zhǎng)詞優(yōu)先”標(biāo)準(zhǔn)的不足。在統(tǒng)計(jì)分詞階段,為