基于詞庫與貝葉斯定理的中文單詞分詞方法的研究.pdf

1、近幾十年以來,經過國內外廣大專家學者研究人員的努力,現在已經形成了一些常用的中文分詞算法,最常見的包括了基于詞典的機械中文分詞算法、基于統(tǒng)計的中文分詞算法和基于理解的中文分詞算法。這些算法都有其各自的優(yōu)勢與局限性,基于詞庫的機械分詞算法實現簡單運行效率高,但對新詞的識別效果差;基于理解的中文分詞算法難以達到應用的程度,主要還是以理論研究為主;基于統(tǒng)計的中文分詞算法對新詞的處理效果好,但是算法時空開銷大,對常用詞識別效果差。目前已有的系統(tǒng)

2、主要都是基于這三種常用算法來實現的,但是由于漢語語言的復雜性以及隨著時代變化不斷涌現出的各種新詞匯,這些系統(tǒng)尚不能完全滿足實際應用系統(tǒng)的需求。
　　在算法研究的理論基礎上,實現了基于詞庫與貝葉斯定理的分詞算法。構建了一個包括了常用詞庫與其他特征詞庫的分詞詞庫,而且能夠根據語料庫的文本來對詞庫進行更新,從而提高了分詞詞庫的質量。通過采用Hash表與鏈表結合的方式來存儲詞庫,來滿足算法對詞庫數據的快速查找的需求。將傳統(tǒng)的貝葉斯定理靈活

3、地應用于中文分詞上,得到計算分詞方案概率的公式,并根據分詞詞庫里中文詞匯的概率數據來計算分詞方案的概率。歧義問題的處理是中文分詞的一個比較大的技術難點,對于這個問題的處理,算法采用的是二元模型,能有效解決這個問題。經過這些處理,使得算法能夠充分汲取各種常見算法的優(yōu)勢,避免各自的局限性,對常用詞匯以及新詞的處理效果都比較好。
　　在各種測試條件下的測試結果表明,該算法具有良好的分詞效果,對歧義處理、未登錄詞的處理方面效果較好,基本可