中文詞法分析技術(shù)的研究與實(shí)現(xiàn).pdf

1、中文詞法分析是中文信息處理中的一項(xiàng)基礎(chǔ)性工作。詞法分析結(jié)果的好壞將直接影響中文信息處理上層應(yīng)用的效果。本文針對詞法分析中的中文分詞、詞性標(biāo)注和動(dòng)詞細(xì)分類進(jìn)行了深入的研究并實(shí)現(xiàn)了一個(gè)實(shí)用化的詞法分析系統(tǒng)IRLAS。通過權(quán)威的評(píng)測和實(shí)際應(yīng)用表明，IRLAS是一個(gè)高精度、高質(zhì)量的、高可靠性的詞法分析系統(tǒng)。
　　眾所周知，切分歧義和未登錄詞識(shí)別是中文分詞中的兩大難點(diǎn)。文本采用了基于詞類的分詞概率模型，此模型把詞歸為若干類別并且把這些類別納

2、入到一個(gè)統(tǒng)一的概率模型框架下。通過選擇概率最大的切分路徑可以消除掉大部分的切分歧義。對于未登錄詞識(shí)別，文本采用了基于角色標(biāo)注的未登錄詞識(shí)別方法，這種方法能充分利用未登錄詞的上下文信息并把未登錄詞識(shí)別的問題轉(zhuǎn)化為角色序列的標(biāo)注問題。通過訓(xùn)練角色的隱馬模型參數(shù)，再利用Viterbi算法即可標(biāo)注出最優(yōu)的角色序列，也即完成了未登錄詞的識(shí)別。
　　詞性標(biāo)注和動(dòng)詞細(xì)分類可以為上層應(yīng)用提供更豐富的語法信息，例如句法分析可以利用這些詞性信息進(jìn)行句