基于字邊界特征的中文抽詞模型研究.pdf

1、中文抽詞是中文信息處理中最基本的任務(wù)之一。目前，傳統(tǒng)的中文抽詞技術(shù)主要采用基于統(tǒng)計的抽詞方法，取得了較好的結(jié)果，但仍有提升的空間?；谶@種現(xiàn)狀，本文提出了一種改進型抽詞模型。
　　 論文首先通過總結(jié)歸納傳統(tǒng)的抽詞算法，設(shè)計了基本抽詞模型，提出了基本抽詞模型中的抽詞特征的挑選策略，構(gòu)詞評價策略，選詞策略，過濾算法等概念的標(biāo)準(zhǔn)流程和模塊功能。并通過對基本抽詞模型的原理上的分析得到了改進基本抽詞模型的幾個關(guān)鍵點。
　　 在基本

2、抽詞模型的基礎(chǔ)上，引入了相應(yīng)的評價標(biāo)準(zhǔn)，針對性的設(shè)計了改進型選詞特征的挑選策略，設(shè)計了相應(yīng)的選詞策略以及實現(xiàn)方案，改進后的過濾算法設(shè)計，以及針對不頻繁詞匯的啟發(fā)式算法。本文根據(jù)相關(guān)理論提出了基于通過多步迭代完成抽詞的理念，針對這個理念，設(shè)計了相應(yīng)的基于字邊界抽詞特征的一整套改進型抽詞模型的具體實現(xiàn)。
　　 實驗部分以Bake-off2005提供的訓(xùn)練數(shù)據(jù)為基礎(chǔ)，首先分析了采用字邊界特征作為抽詞特征的可行性，接著通過采用合理的選詞