基于錯誤驅動的漢語詞性標注研究.pdf

1、隨著互聯(lián)網(wǎng)文化和經(jīng)濟的飛速發(fā)展和信息爆炸時代的到來，能夠在短時間內處理大規(guī)模文本且從中挖掘和抽取語言信息的計算語言學快速地成長起來。語料庫的規(guī)模擴大和切分標注水平的提高成為迫切的需要，以計算語言學為主的多語言語料庫切分和標注技術越來越受到語言學專家的重視。要使語料庫真正為提高自然語言處理的水平服務，就必須對語料庫進行深度挖掘和精細加工。詞性是對語言進行語法、語義、語用分析的基礎和必要前提，如何解決語料庫的詞性標注問題仍是當今的一項重要的

2、基礎工作。 漢語詞性標注的成果包括基于統(tǒng)計和規(guī)則兩種處理方法。語言學工作者們常用的統(tǒng)計算法模型，如最大熵模型、隱馬爾可夫模型和決策樹分析等進行大規(guī)模的詞性切分和標注，再結合規(guī)則模板或者手工編制的排歧詞典對經(jīng)過統(tǒng)計算法訓練的模型進行擇優(yōu)、排歧，從而達到較為理想的結果。 本文在介紹了提出的漢語詞性標注方案也是規(guī)則和統(tǒng)計結合的方法，首先在極大熵標注模型的基礎上給出了一個漢語詞性標注方案，并提出基于兼類詞錯誤學習的思想。該方案有