基于詞典的中文分詞算法改進(jìn)與實現(xiàn).pdf

1、中文分詞是按照特定的規(guī)范將漢語中連續(xù)的字序列切分為合理的詞序列的過程。作為自然語言處理基礎(chǔ)性任務(wù)，中文分詞已經(jīng)被廣泛應(yīng)用在相關(guān)領(lǐng)域中。因此，研究中文分詞算法具有重要的理論和現(xiàn)實意義。為了滿足上層應(yīng)用對分詞實用性要求，本文將機械分詞和基于統(tǒng)計的分詞法有機結(jié)合，提出了基于詞典和統(tǒng)計規(guī)則的中文分詞算法。該算法首先使用切分速度快的機械分詞法對預(yù)處理后的文本進(jìn)行初步切分，采用改進(jìn)的雙向最大匹配檢測法檢測出歧義字段，并運用基于二元統(tǒng)計模型的全切分消

2、解歧義。其次，采用基于角色的命名實體識別方法識別出未登錄詞。最后，引入規(guī)則庫對分詞結(jié)果進(jìn)一步修正。本文的研究工作主要有:
　　采用二次索引的詞典結(jié)構(gòu)，提升詞典查找速度，使用Java對象序列化技術(shù)實現(xiàn)詞典文件的加載（反序列化）和詞典對象的序列化。
　　在未登錄詞識別方面，將隱馬爾科夫模型中解決編碼問題的前向Viterbi算法用以角色標(biāo)注，采用角色模式集上的模式串匹配出中文專有名詞。使用一個小型校正規(guī)則庫進(jìn)行分詞碎片的修正。