基于統(tǒng)計(jì)的漢語(yǔ)依存句法分析研究.pdf

1、句法分析是自然語(yǔ)言處理的核心課題之一。依存句法分析是應(yīng)用依存語(yǔ)法對(duì)自然語(yǔ)言進(jìn)行自動(dòng)句法分析，具有形式簡(jiǎn)單、易于標(biāo)注、便于應(yīng)用等優(yōu)點(diǎn)，可運(yùn)用于關(guān)系抽取、機(jī)器翻譯、本體構(gòu)建、語(yǔ)義角色標(biāo)注等領(lǐng)域，具有廣泛的應(yīng)用前景。
　　句法分析方法可分為基于規(guī)則和統(tǒng)計(jì)的兩大類(lèi)。在早期研究中，基于規(guī)則的方法占據(jù)主流。但由于其所存在的一些缺陷，80年代中期研究者們開(kāi)始探索統(tǒng)計(jì)的方法。自90年代以來(lái)，隨著語(yǔ)料資源的獲取變得容易，統(tǒng)計(jì)方法成為主流。本文使用基

2、于語(yǔ)料庫(kù)的統(tǒng)計(jì)學(xué)習(xí)方法，對(duì)漢語(yǔ)的依存句法分析技術(shù)進(jìn)行了探索。主要包括以下三方面：
　　第一，由于很多漢語(yǔ)樹(shù)庫(kù)多采用短語(yǔ)結(jié)構(gòu)的標(biāo)注形式，依存樹(shù)庫(kù)的建設(shè)還存在很多不足。所以，國(guó)內(nèi)外不少研究者都嘗試將短語(yǔ)結(jié)構(gòu)樹(shù)庫(kù)轉(zhuǎn)化為依存樹(shù)庫(kù)，轉(zhuǎn)化的第一步就要標(biāo)注句法成分的中心詞。針對(duì)此問(wèn)題，本文提出一種基于層疊條件隨機(jī)場(chǎng)的統(tǒng)計(jì)和規(guī)則相結(jié)合的方法，來(lái)提高中心詞識(shí)別的準(zhǔn)確率，從而有利于樹(shù)庫(kù)之間的轉(zhuǎn)化。
　　第二，在漢語(yǔ)依存句法分析中，長(zhǎng)距離依存關(guān)系

3、的識(shí)別是其中的一個(gè)難點(diǎn)，也是影響依存分析效果的主要原因。漢語(yǔ)句中的謂詞可將一個(gè)長(zhǎng)句分割為兩個(gè)短句，從而降低了句法分析的難度。本文采用基于最長(zhǎng)名詞短語(yǔ)前處理和規(guī)則后處理的方法來(lái)進(jìn)行謂詞自動(dòng)識(shí)別，為下一步長(zhǎng)距離依存關(guān)系的分析奠定了基礎(chǔ)。
　　第三，本文將漢語(yǔ)依存句法分析分為依存弧和關(guān)系識(shí)別兩步進(jìn)行。依存弧識(shí)別任務(wù)轉(zhuǎn)換為詞對(duì)分類(lèi)問(wèn)題，并采用了一個(gè)基于動(dòng)態(tài)規(guī)劃的搜索算法，提高搜索效率。并在此基礎(chǔ)上，與MST依存句法分析器進(jìn)行融合，來(lái)提高依