有標(biāo)記聯(lián)合結(jié)構(gòu)的自動(dòng)識(shí)別.pdf

1、有標(biāo)記聯(lián)合結(jié)構(gòu)的自動(dòng)識(shí)別將為漢語(yǔ)樹(shù)庫(kù)的構(gòu)建做好預(yù)處理工作，提高句法分析器的工作效率，同時(shí)該識(shí)別成果可以直接應(yīng)用于機(jī)器翻譯、信息抽取等領(lǐng)域。以往對(duì)有標(biāo)記聯(lián)合結(jié)構(gòu)的研究大部分是進(jìn)行理論探討，少部分的自動(dòng)識(shí)別研究也是針對(duì)比較簡(jiǎn)單的聯(lián)合結(jié)構(gòu)。本文在為構(gòu)建漢語(yǔ)樹(shù)庫(kù)做好聯(lián)合結(jié)構(gòu)預(yù)處理的前提下，基于大規(guī)模語(yǔ)料庫(kù)用規(guī)則和統(tǒng)計(jì)的方法分別對(duì)有標(biāo)記聯(lián)合結(jié)構(gòu)進(jìn)行了自動(dòng)識(shí)別的研究。 統(tǒng)計(jì)和分析了有標(biāo)記聯(lián)合結(jié)構(gòu)內(nèi)部和外部的語(yǔ)言學(xué)特征，內(nèi)部特征方面主要考察了

2、聯(lián)合結(jié)構(gòu)的詞性序列分布、短語(yǔ)序列分布、詞與短語(yǔ)的序列分布、聯(lián)合結(jié)構(gòu)的長(zhǎng)度分布以及聯(lián)合結(jié)構(gòu)的聯(lián)合標(biāo)記。外部特征方面主要從聯(lián)合結(jié)構(gòu)的句法功能分布和聯(lián)合結(jié)構(gòu)左右邊界特征詞兩個(gè)方面進(jìn)行考察。這些考察一方面為計(jì)算機(jī)識(shí)別有標(biāo)記聯(lián)合結(jié)構(gòu)提供了語(yǔ)言學(xué)知識(shí)，另一方為從語(yǔ)言學(xué)的角度量化地研究聯(lián)合結(jié)構(gòu)提供了精確的數(shù)據(jù)。 根據(jù)聯(lián)合結(jié)構(gòu)的結(jié)構(gòu)平行性和中心語(yǔ)相似性這一特征對(duì)聯(lián)合結(jié)構(gòu)用基于規(guī)則的方法進(jìn)行了識(shí)別，由于詞語(yǔ)語(yǔ)義計(jì)算缺乏量化和精確化、詞性規(guī)則模板顆

3、粒度過(guò)于粗糙，識(shí)別效果非常不理想，單層單標(biāo)記聯(lián)合結(jié)構(gòu)的封閉測(cè)試和開(kāi)放測(cè)試最好的調(diào)和平均值分別為62.52％和57.12％，這證明了在目前的條件下僅僅依靠聯(lián)合結(jié)構(gòu)的結(jié)構(gòu)平行和中心語(yǔ)相似特征來(lái)識(shí)別聯(lián)合結(jié)構(gòu)的方法基本上是行不通的。 本文詳細(xì)介紹了CRF提出的背景、基本原理以及在中文信息處理中的應(yīng)用，并用該模型對(duì)有標(biāo)記聯(lián)合結(jié)構(gòu)進(jìn)行了自動(dòng)識(shí)別。分別用基于復(fù)雜特征的特征模板和增加語(yǔ)言學(xué)特征的特征模板在含有嵌套的聯(lián)合結(jié)構(gòu)、無(wú)嵌套聯(lián)合結(jié)構(gòu)和最長(zhǎng)