基于最大熵模型的漢語詞性標注研究.pdf

1、詞性標注是為文本中的每個詞語標上正確詞性的過程。它作為自然語言處理的一項基礎(chǔ)性工作，是后續(xù)句法分析、組塊分析等任務(wù)的必要準備。詞性標注中出現(xiàn)的錯誤會在后續(xù)處理中被放大，影響后續(xù)處理的效果，正確的詞性標注對于自然語言處理有著非常重要的意義。本文的目的是在分詞的基礎(chǔ)上，研究提高漢語詞性標注準確率的方法，為后期詞法分析和其它自然語言處理任務(wù)服務(wù)。 最大熵模型是一種使用靈活、精確率高的統(tǒng)計模型。最大熵模型的一般使用方法是利用模型直接獲得

2、結(jié)果，但是通過實驗發(fā)現(xiàn)，大約94％的詞語的正確標注是最大熵模型給出的最優(yōu)標注，大約3％的詞語的正確標注是最大熵模型給出的次優(yōu)標注。直接舍棄次優(yōu)標注，就舍棄了通過最大熵模型獲得的一些信息。因此可以通過一些改進手段，把這些信息也加以利用，從而提高標注精度。 本文通過結(jié)合使用最大熵模型和隱馬爾可夫模型、融合多個最大熵模型的標注結(jié)果、結(jié)合使用最大熵模型和CRFs構(gòu)建了三個詞性標注器。使用的三種詞性標注方法的核心就是同時考慮最大熵模型的最