基于最大熵模型的漢語(yǔ)詞性標(biāo)注研究.pdf

1、詞性標(biāo)注是為文本中的每個(gè)詞語(yǔ)標(biāo)上正確詞性的過(guò)程。它作為自然語(yǔ)言處理的一項(xiàng)基礎(chǔ)性工作，是后續(xù)句法分析、組塊分析等任務(wù)的必要準(zhǔn)備。詞性標(biāo)注中出現(xiàn)的錯(cuò)誤會(huì)在后續(xù)處理中被放大，影響后續(xù)處理的效果，正確的詞性標(biāo)注對(duì)于自然語(yǔ)言處理有著非常重要的意義。本文的目的是在分詞的基礎(chǔ)上，研究提高漢語(yǔ)詞性標(biāo)注準(zhǔn)確率的方法，為后期詞法分析和其它自然語(yǔ)言處理任務(wù)服務(wù)。 最大熵模型是一種使用靈活、精確率高的統(tǒng)計(jì)模型。最大熵模型的一般使用方法是利用模型直接獲得

2、結(jié)果，但是通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，大約94％的詞語(yǔ)的正確標(biāo)注是最大熵模型給出的最優(yōu)標(biāo)注，大約3％的詞語(yǔ)的正確標(biāo)注是最大熵模型給出的次優(yōu)標(biāo)注。直接舍棄次優(yōu)標(biāo)注，就舍棄了通過(guò)最大熵模型獲得的一些信息。因此可以通過(guò)一些改進(jìn)手段，把這些信息也加以利用，從而提高標(biāo)注精度。 本文通過(guò)結(jié)合使用最大熵模型和隱馬爾可夫模型、融合多個(gè)最大熵模型的標(biāo)注結(jié)果、結(jié)合使用最大熵模型和CRFs構(gòu)建了三個(gè)詞性標(biāo)注器。使用的三種詞性標(biāo)注方法的核心就是同時(shí)考慮最大熵模型的最