基于最大熵的漢語詞性標(biāo)注.pdf

1、詞性標(biāo)注是給文本中的每個詞標(biāo)注上正確的詞性。它是自然語言處理的基礎(chǔ)，其正確率將影響后期句法分析或組塊分析的正確率。在詞性標(biāo)注時出現(xiàn)的錯誤會在后續(xù)自然語言處理鏈中被放大，正確標(biāo)注詞性對自然語言處理有非常重要的意義。本文的目的就是在文本分詞的基礎(chǔ)上，實現(xiàn)漢語詞性標(biāo)注，為后期詞法分析和其它自然語言處理任務(wù)提供基礎(chǔ)。 本文首先闡述了漢語詞性標(biāo)注的研究現(xiàn)狀及研究意義，然后在深入理解最大熵理論的基礎(chǔ)上實現(xiàn)了基于最大熵的漢語詞性標(biāo)注系統(tǒng)，最后

2、利用統(tǒng)計規(guī)則和詞性限定方法對未登錄詞進行了進一步標(biāo)注。 利用不同模板將不同的上下文信息導(dǎo)入最大熵模型，構(gòu)建了四個最大熵標(biāo)注模型，選出具有最優(yōu)標(biāo)注效果的模板作為最終模板。為了簡化模型，采用了三種不同的特征選取方法精簡最大熵模型的候選特征，為了進一步提高詞性標(biāo)注正確率，采用了規(guī)則和詞性限定法，結(jié)合最大熵對未登錄詞做了進一步標(biāo)注。論文給出了最大熵標(biāo)注模型的算法，并給出了標(biāo)注結(jié)果，及對未登錄詞進一步標(biāo)注后的結(jié)果。 詞性標(biāo)注比較復(fù)