基于錯(cuò)誤驅(qū)動(dòng)的漢語詞性標(biāo)注研究.pdf

1、隨著互聯(lián)網(wǎng)文化和經(jīng)濟(jì)的飛速發(fā)展和信息爆炸時(shí)代的到來，能夠在短時(shí)間內(nèi)處理大規(guī)模文本且從中挖掘和抽取語言信息的計(jì)算語言學(xué)快速地成長起來。語料庫的規(guī)模擴(kuò)大和切分標(biāo)注水平的提高成為迫切的需要，以計(jì)算語言學(xué)為主的多語言語料庫切分和標(biāo)注技術(shù)越來越受到語言學(xué)專家的重視。要使語料庫真正為提高自然語言處理的水平服務(wù)，就必須對語料庫進(jìn)行深度挖掘和精細(xì)加工。詞性是對語言進(jìn)行語法、語義、語用分析的基礎(chǔ)和必要前提，如何解決語料庫的詞性標(biāo)注問題仍是當(dāng)今的一項(xiàng)重要的

2、基礎(chǔ)工作。 漢語詞性標(biāo)注的成果包括基于統(tǒng)計(jì)和規(guī)則兩種處理方法。語言學(xué)工作者們常用的統(tǒng)計(jì)算法模型，如最大熵模型、隱馬爾可夫模型和決策樹分析等進(jìn)行大規(guī)模的詞性切分和標(biāo)注，再結(jié)合規(guī)則模板或者手工編制的排歧詞典對經(jīng)過統(tǒng)計(jì)算法訓(xùn)練的模型進(jìn)行擇優(yōu)、排歧，從而達(dá)到較為理想的結(jié)果。 本文在介紹了提出的漢語詞性標(biāo)注方案也是規(guī)則和統(tǒng)計(jì)結(jié)合的方法，首先在極大熵標(biāo)注模型的基礎(chǔ)上給出了一個(gè)漢語詞性標(biāo)注方案，并提出基于兼類詞錯(cuò)誤學(xué)習(xí)的思想。該方案有