基于字的分詞方法的研究與實現(xiàn).pdf

1、許多中文自然語言處理任務需要以詞為單位的數(shù)據(jù)，分詞是這樣的處理任務的第一步。在中文句子中，除了有標點符號用來斷句外，字與字緊密相連，某個字串是否成詞往往與上下文有關。這與英文等語言很不相同：英文中有空格符作為詞語的分割標記，而中文卻沒有類似標記。由于上下文是一個相對模糊的概念，這使得分詞成為一項困難的任務。隨著統(tǒng)計機器學習方法的成熟，其應用領域也逐漸擴展?；诮y(tǒng)計機器學習方法的利用字標注思想的分詞方法在中文分詞任務中取得了很好的效果。研

2、究人員將研究較為成熟的詞性標注思想引入到中文分詞中來，使得中文分詞方法的準確率得到極大的提升。
　　本文介紹了兩個統(tǒng)計模型：最大熵模型和線性鏈條件隨機場模型，重點關注它們的推導過程和在基于字標注的分詞方法中的應用。本文使用了較大篇幅詳細介紹模型的推導過程，以加深對模型的理解及利于模型的實現(xiàn)。在此基礎上，本文利用這兩個模型設計了分詞方法，并就分詞過程中涉及的多個步驟設計了改進方法：對于模型訓練，本文分析了模型實現(xiàn)時重要的數(shù)據(jù)結構、提

3、出了多線程優(yōu)化方法；對于基于最大熵模型的分詞方法，本文優(yōu)化了最大熵模型的表示、提出了一種新的屬于動態(tài)規(guī)劃方法的預測算法。同時，本文通過實驗討論了多線程優(yōu)化對于訓練時間的影響、增加標記集合和增加特征對于分詞精度的影響。
　　本文的實驗結果表明，多線程優(yōu)化技術可以有效減少模型的訓練時間。同時，本文提出的預測方法在性能上優(yōu)于傳統(tǒng)方法，而在準確度上也略優(yōu)于傳統(tǒng)方法，這意味著將更多的用于后處理的技術用于分詞階段有利于提高分詞精度。另外，本文