基于深度學習的中文分詞模型應用研究.pdf

1、自然語言處理(NLP)是一種讓計算機能夠理解人類語言的技術。其中，分詞技術是一種基礎任務。國際上常用的NLP算法，深層次的語法語義分析通常都是以詞作為基本單位，分詞通常是NLP的首要任務。當建立NLP領域的模型時，往往需要建模人員掌握一定的語言學知識才能夠提取合適的特征。深度學習具有優(yōu)秀的泛化能力，能夠無監(jiān)督地基于數(shù)據(jù)抽取特征，深度學習的優(yōu)勢就在于，從訓練數(shù)據(jù)中學習到上下文信息特征，實驗者需要做的部分是設計神經(jīng)網(wǎng)絡的結構，提供優(yōu)質的訓練

2、數(shù)據(jù)。
　　本文構建了基于字嵌入的雙向長短期記憶網(wǎng)絡(LSTM)的中文分詞模型，細致地介紹模型的構建過程，參數(shù)設置，以及實驗過程。從分詞準確性角度評價隱馬爾科夫模型(HMM)，條件隨機場(CRF)，雙向LSTM的分詞效果。使用 Bakeoff2005的微軟研究院提供的語料作為測試語料，用該機構提供語料做封閉測試，模型切分結果的 F-測度(F-Measure)分別為，CRF：0.965，雙向LSTM：0.931，HMM：0.759；