面向依存句法分析優(yōu)化技術(shù)的研究.pdf

1、句法分析作為自然語言處理領(lǐng)域的基本任務(wù)之一，一直受到學(xué)術(shù)界和工業(yè)界的關(guān)注?；谝来嫖姆ǖ木浞ńY(jié)構(gòu)（依存句法結(jié)構(gòu)），由于其結(jié)構(gòu)簡單，表達(dá)方式靈活，訓(xùn)練語料的標(biāo)注相對容易等優(yōu)點，使得依存句法分析逐漸成為句法分析研究中的熱點問題。此外，越來越多的上層應(yīng)用利用依存句法分析器作為其核心模塊之一，例如統(tǒng)計機(jī)器翻譯系統(tǒng)利用依存句法分析的結(jié)果進(jìn)行預(yù)調(diào)序，信息抽取系統(tǒng)根據(jù)依存句法結(jié)構(gòu)定義實體抽取模板等。
　　隨著機(jī)器學(xué)習(xí)技術(shù)的日趨完善以及計算機(jī)硬件

2、的飛速發(fā)展，數(shù)據(jù)驅(qū)動的依存句法分析系統(tǒng)的性能也在不斷改進(jìn)。為了進(jìn)一步提高依存句法分析系統(tǒng)的性能，本文從不同角度對依存句法分析系統(tǒng)進(jìn)行優(yōu)化。統(tǒng)計依存句法分析系統(tǒng)主要包括三大核心模塊:特征表示，解碼算法以及參數(shù)學(xué)習(xí)。本文針對特征模塊以及參數(shù)學(xué)習(xí)模塊進(jìn)行優(yōu)化，主要貢獻(xiàn)包括:
　　本文提出了一種詞性標(biāo)注-依存句法分析的聯(lián)合模型。詞性特征是句法分析系統(tǒng)中利用的重要特征之一，詞性標(biāo)注的質(zhì)量嚴(yán)重影響依存句法分析系統(tǒng)的準(zhǔn)確率。傳統(tǒng)的級聯(lián)方法是首先

3、利用詞性標(biāo)注系統(tǒng)對句子進(jìn)行標(biāo)注，然后將已標(biāo)好詞性的句子作為句法分析系統(tǒng)的輸入。本文提出了一種詞性標(biāo)注-句法分析的聯(lián)合模型，與傳統(tǒng)的級聯(lián)方法相比，能夠為詞性消歧提供部分句法結(jié)構(gòu)信息，提高詞性標(biāo)注的質(zhì)量，從而提高句法分析的準(zhǔn)確率。
　　本文提出了基于神經(jīng)元網(wǎng)絡(luò)的詞性標(biāo)注系統(tǒng)。當(dāng)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)屬于不同領(lǐng)域時，依存句法分析系統(tǒng)的性能顯著下降，其原因之一是目標(biāo)領(lǐng)域詞性標(biāo)注質(zhì)量的降低。針對此問題，本文提出兩階段模型，為句法分析系統(tǒng)提供目標(biāo)

4、領(lǐng)域的高質(zhì)量詞性特征。在第一階段，我們利用編碼器從大規(guī)模無標(biāo)注的目標(biāo)領(lǐng)域語料中學(xué)習(xí)目標(biāo)領(lǐng)域文本的規(guī)律。在第二階段，我們將編碼器中的信息集成到基于神經(jīng)元網(wǎng)絡(luò)的詞性標(biāo)注系統(tǒng)。最后，我們通過實驗證明本文中方法的有效性。
　　本文提出了基于偽歧義的全局訓(xùn)練方法。偽歧義性指能夠通過不同的動作序列生成相同的句法結(jié)構(gòu)。偽歧義系統(tǒng)，例如基于轉(zhuǎn)移動作的依存句法分析系統(tǒng)，意味著能夠從一個人工標(biāo)注的句子中抽取多個動作序列，用于訓(xùn)練模型參數(shù)。然而，傳統(tǒng)的

5、方法為了簡化訓(xùn)練算法，利用約束條件將可抽取的動作序列數(shù)量限制為1。與傳統(tǒng)方法相比，本文中的算法能夠讓所有生成人工標(biāo)注的動作序列參與到模型訓(xùn)練，充分利用樹庫信息，從而提高句法分析的準(zhǔn)確率。
　　本文提出了基于向上傳遞的依存分析標(biāo)點處理方法。本文針對標(biāo)點在句法結(jié)構(gòu)中的作用以及對依存句法分析系統(tǒng)性能的影響進(jìn)行了詳細(xì)的討論，實驗與總結(jié)。在此基礎(chǔ)上，我們提出僅對普通單詞進(jìn)行依存分析，而將標(biāo)點信息作為單詞的屬性，并將這些屬性隨著依存關(guān)系的構(gòu)建