基于最大熵的漢語(yǔ)介詞短語(yǔ)自動(dòng)識(shí)別.pdf

1、介詞短語(yǔ)是漢語(yǔ)中一種重要的短語(yǔ)類(lèi)型。介詞短語(yǔ)識(shí)別可以縮小句子中心動(dòng)詞的選擇范圍；可以簡(jiǎn)化句子結(jié)構(gòu)，降低后續(xù)句法分析的難度；在基于模板的翻譯中，它還能為模板匹配提供方便。 本文首先指出了當(dāng)前完全語(yǔ)法分析的困難，而介詞短語(yǔ)識(shí)別和其他類(lèi)型短語(yǔ)識(shí)別以及組塊分析是一種解決問(wèn)題的途徑。并介紹了介詞短語(yǔ)識(shí)別的研究現(xiàn)狀以及技術(shù)路線，提出了漢語(yǔ)介詞短語(yǔ)識(shí)別的重要性和可行性。隨后在繼承了語(yǔ)言學(xué)家工作的基礎(chǔ)上，對(duì)漢語(yǔ)介詞短語(yǔ)的語(yǔ)義，語(yǔ)法，語(yǔ)用情況進(jìn)行

2、了討論，提出了基于漢語(yǔ)介詞短語(yǔ)的分類(lèi)體系，制定面向計(jì)算機(jī)的介詞短語(yǔ)的標(biāo)注規(guī)范。在研究過(guò)程中，本文繼承了Church提出的把BaseNP識(shí)別看作詞性標(biāo)注同構(gòu)問(wèn)題的思想，嘗試在淺層句法分析這個(gè)層級(jí)識(shí)別介詞短語(yǔ)。本文實(shí)現(xiàn)介詞短語(yǔ)識(shí)別的系統(tǒng)是基于最大熵的統(tǒng)計(jì)模型，最大熵模型具有簡(jiǎn)潔、通用和可移植等特點(diǎn)，能夠靈活地選取特征，同時(shí)可以把計(jì)算模型和語(yǔ)言模型作為獨(dú)立地模塊處理，而不必關(guān)心語(yǔ)言內(nèi)部的細(xì)節(jié)。特征集合的選取是最大熵模型的關(guān)鍵，它選取合適與否決

3、定了介詞短語(yǔ)識(shí)別結(jié)果的好壞。因此在本文中針對(duì)漢語(yǔ)介詞短語(yǔ)的劃分和識(shí)別，提出了詞、詞性標(biāo)注是構(gòu)成介詞短語(yǔ)識(shí)別的主要因素，并根據(jù)這幾種因素結(jié)合介詞短語(yǔ)的語(yǔ)用特征來(lái)確定最大熵模型的特征空間，從中自動(dòng)獲取介詞短語(yǔ)識(shí)別的有效特征集合。 實(shí)驗(yàn)表明，利用基于最大熵模型的方法來(lái)識(shí)別中文介詞短語(yǔ)是有效的：系統(tǒng)使用含有7000余個(gè)介詞短語(yǔ)的2000年人民日?qǐng)?bào)語(yǔ)料的開(kāi)放測(cè)試精確率達(dá)到89.1﹪。和當(dāng)前同類(lèi)文獻(xiàn)相比，本識(shí)別系統(tǒng)取得了比較好的識(shí)別結(jié)果。并