有標(biāo)記聯(lián)合結(jié)構(gòu)的自動識別.pdf

1、有標(biāo)記聯(lián)合結(jié)構(gòu)的自動識別將為漢語樹庫的構(gòu)建做好預(yù)處理工作，提高句法分析器的工作效率，同時該識別成果可以直接應(yīng)用于機器翻譯、信息抽取等領(lǐng)域。以往對有標(biāo)記聯(lián)合結(jié)構(gòu)的研究大部分是進行理論探討，少部分的自動識別研究也是針對比較簡單的聯(lián)合結(jié)構(gòu)。本文在為構(gòu)建漢語樹庫做好聯(lián)合結(jié)構(gòu)預(yù)處理的前提下，基于大規(guī)模語料庫用規(guī)則和統(tǒng)計的方法分別對有標(biāo)記聯(lián)合結(jié)構(gòu)進行了自動識別的研究。 統(tǒng)計和分析了有標(biāo)記聯(lián)合結(jié)構(gòu)內(nèi)部和外部的語言學(xué)特征，內(nèi)部特征方面主要考察了

2、聯(lián)合結(jié)構(gòu)的詞性序列分布、短語序列分布、詞與短語的序列分布、聯(lián)合結(jié)構(gòu)的長度分布以及聯(lián)合結(jié)構(gòu)的聯(lián)合標(biāo)記。外部特征方面主要從聯(lián)合結(jié)構(gòu)的句法功能分布和聯(lián)合結(jié)構(gòu)左右邊界特征詞兩個方面進行考察。這些考察一方面為計算機識別有標(biāo)記聯(lián)合結(jié)構(gòu)提供了語言學(xué)知識，另一方為從語言學(xué)的角度量化地研究聯(lián)合結(jié)構(gòu)提供了精確的數(shù)據(jù)。 根據(jù)聯(lián)合結(jié)構(gòu)的結(jié)構(gòu)平行性和中心語相似性這一特征對聯(lián)合結(jié)構(gòu)用基于規(guī)則的方法進行了識別，由于詞語語義計算缺乏量化和精確化、詞性規(guī)則模板顆

3、粒度過于粗糙，識別效果非常不理想，單層單標(biāo)記聯(lián)合結(jié)構(gòu)的封閉測試和開放測試最好的調(diào)和平均值分別為62.52％和57.12％，這證明了在目前的條件下僅僅依靠聯(lián)合結(jié)構(gòu)的結(jié)構(gòu)平行和中心語相似特征來識別聯(lián)合結(jié)構(gòu)的方法基本上是行不通的。 本文詳細(xì)介紹了CRF提出的背景、基本原理以及在中文信息處理中的應(yīng)用，并用該模型對有標(biāo)記聯(lián)合結(jié)構(gòu)進行了自動識別。分別用基于復(fù)雜特征的特征模板和增加語言學(xué)特征的特征模板在含有嵌套的聯(lián)合結(jié)構(gòu)、無嵌套聯(lián)合結(jié)構(gòu)和最長