基于規(guī)則的漢語兼類詞標(biāo)注方法研究.pdf

1、漢語詞性標(biāo)注作為自然語言處理領(lǐng)域的基礎(chǔ)性研究課題之一，近年來受到廣泛的關(guān)注和深入的研究。詞性標(biāo)注的研究成果可為信息抽取、漢語語義分析等其它高層處理任務(wù)提供必要的基礎(chǔ)，在實(shí)際的自然語言應(yīng)用中起到至關(guān)重要的作用和影響。因此，本文以詞性標(biāo)注為研究目標(biāo)，對其中的關(guān)鍵問題做系統(tǒng)研究。
　　目前，英文詞性標(biāo)注的準(zhǔn)確率較高，用傳統(tǒng)的統(tǒng)計(jì)模型即可解決，這是由英語的語法特點(diǎn)決定的。兼類詞的標(biāo)注準(zhǔn)確率是影響詞性標(biāo)注準(zhǔn)確率的決定性因素，英語兼類詞詞性的

2、變化一般是隨著詞形的變化而變化的，而漢語兼類詞就不存在有詞形的變化了，這給我們統(tǒng)計(jì)模型帶來了很大的困難，漢語詞性標(biāo)注的準(zhǔn)確率就要比英語詞性標(biāo)注的準(zhǔn)確率低很多。另外一個影響詞性標(biāo)注準(zhǔn)確率的重要因素就是對未登錄詞的處理。未登錄詞就是在統(tǒng)計(jì)模型詞典中未收錄的詞，當(dāng)我們的詞典到達(dá)一定規(guī)模的時候，未登錄詞就主要是一些命名實(shí)體詞了，包括人名、地名、機(jī)構(gòu)名等等。特征模板的選擇也會影響詞性標(biāo)注的準(zhǔn)確率，統(tǒng)計(jì)模型是根據(jù)特征模板來統(tǒng)計(jì)上下文信息的，所以特征

3、模板的設(shè)置也是很重要的。如何解決上述問題對漢語詞性標(biāo)注來說是至關(guān)重要的。目前，漢語詞性標(biāo)注主要分為三種方法，即統(tǒng)計(jì)、規(guī)則以及規(guī)則和統(tǒng)計(jì)相結(jié)合的方法，第三種方法結(jié)合了統(tǒng)計(jì)方法與規(guī)則方法的優(yōu)缺點(diǎn)，能夠很好的解決漢語詞性標(biāo)注問題。本文就是圍繞第三種方法展開研究。
　　本文主要做了以下幾個方面的工作。首先，建立了隱馬爾科夫模型、條件隨機(jī)場模型、最大熵模型三種傳統(tǒng)的統(tǒng)計(jì)模型，并用這三種模型對《人民日報(bào)》語料庫進(jìn)行詞性標(biāo)注，統(tǒng)計(jì)標(biāo)注結(jié)果。同時

4、，又對漢語詞性標(biāo)注的特征選擇進(jìn)行了研究，了解不同特征模板對漢語兼類詞標(biāo)注準(zhǔn)確率的影響，從而確定了自己的特征模板選擇方法。針對詞性標(biāo)注中未登錄詞的問題，本文提出了自己的處理策略，即規(guī)則和統(tǒng)計(jì)相結(jié)合的方法，提高了詞性標(biāo)注的準(zhǔn)確率。同時，對于傳統(tǒng)的統(tǒng)計(jì)模型對漢語兼類詞標(biāo)注準(zhǔn)確率不高的問題，引入了一種基于互信息的漢語詞性標(biāo)注規(guī)則挖掘方法，對規(guī)則挖掘進(jìn)行了研究，并引入規(guī)則優(yōu)先級算法解決規(guī)則沖突問題，最后將所得規(guī)則和統(tǒng)計(jì)模型相結(jié)合，實(shí)驗(yàn)結(jié)果表明，規(guī)