基于字邊界特征的中文抽詞模型研究.pdf

1、中文抽詞是中文信息處理中最基本的任務之一。目前，傳統(tǒng)的中文抽詞技術主要采用基于統(tǒng)計的抽詞方法，取得了較好的結(jié)果，但仍有提升的空間。基于這種現(xiàn)狀，本文提出了一種改進型抽詞模型。
　　 論文首先通過總結(jié)歸納傳統(tǒng)的抽詞算法，設計了基本抽詞模型，提出了基本抽詞模型中的抽詞特征的挑選策略，構詞評價策略，選詞策略，過濾算法等概念的標準流程和模塊功能。并通過對基本抽詞模型的原理上的分析得到了改進基本抽詞模型的幾個關鍵點。
　　 在基本

2、抽詞模型的基礎上，引入了相應的評價標準，針對性的設計了改進型選詞特征的挑選策略，設計了相應的選詞策略以及實現(xiàn)方案，改進后的過濾算法設計，以及針對不頻繁詞匯的啟發(fā)式算法。本文根據(jù)相關理論提出了基于通過多步迭代完成抽詞的理念，針對這個理念，設計了相應的基于字邊界抽詞特征的一整套改進型抽詞模型的具體實現(xiàn)。
　　 實驗部分以Bake-off2005提供的訓練數(shù)據(jù)為基礎，首先分析了采用字邊界特征作為抽詞特征的可行性，接著通過采用合理的選詞