面向依存句法分析優(yōu)化技術的研究.pdf

1、句法分析作為自然語言處理領域的基本任務之一，一直受到學術界和工業(yè)界的關注?；谝来嫖姆ǖ木浞ńY構（依存句法結構），由于其結構簡單，表達方式靈活，訓練語料的標注相對容易等優(yōu)點，使得依存句法分析逐漸成為句法分析研究中的熱點問題。此外，越來越多的上層應用利用依存句法分析器作為其核心模塊之一，例如統(tǒng)計機器翻譯系統(tǒng)利用依存句法分析的結果進行預調(diào)序，信息抽取系統(tǒng)根據(jù)依存句法結構定義實體抽取模板等。
　　隨著機器學習技術的日趨完善以及計算機硬件

2、的飛速發(fā)展，數(shù)據(jù)驅(qū)動的依存句法分析系統(tǒng)的性能也在不斷改進。為了進一步提高依存句法分析系統(tǒng)的性能，本文從不同角度對依存句法分析系統(tǒng)進行優(yōu)化。統(tǒng)計依存句法分析系統(tǒng)主要包括三大核心模塊:特征表示，解碼算法以及參數(shù)學習。本文針對特征模塊以及參數(shù)學習模塊進行優(yōu)化，主要貢獻包括:
　　本文提出了一種詞性標注-依存句法分析的聯(lián)合模型。詞性特征是句法分析系統(tǒng)中利用的重要特征之一，詞性標注的質(zhì)量嚴重影響依存句法分析系統(tǒng)的準確率。傳統(tǒng)的級聯(lián)方法是首先

3、利用詞性標注系統(tǒng)對句子進行標注，然后將已標好詞性的句子作為句法分析系統(tǒng)的輸入。本文提出了一種詞性標注-句法分析的聯(lián)合模型，與傳統(tǒng)的級聯(lián)方法相比，能夠為詞性消歧提供部分句法結構信息，提高詞性標注的質(zhì)量，從而提高句法分析的準確率。
　　本文提出了基于神經(jīng)元網(wǎng)絡的詞性標注系統(tǒng)。當訓練數(shù)據(jù)與測試數(shù)據(jù)屬于不同領域時，依存句法分析系統(tǒng)的性能顯著下降，其原因之一是目標領域詞性標注質(zhì)量的降低。針對此問題，本文提出兩階段模型，為句法分析系統(tǒng)提供目標

4、領域的高質(zhì)量詞性特征。在第一階段，我們利用編碼器從大規(guī)模無標注的目標領域語料中學習目標領域文本的規(guī)律。在第二階段，我們將編碼器中的信息集成到基于神經(jīng)元網(wǎng)絡的詞性標注系統(tǒng)。最后，我們通過實驗證明本文中方法的有效性。
　　本文提出了基于偽歧義的全局訓練方法。偽歧義性指能夠通過不同的動作序列生成相同的句法結構。偽歧義系統(tǒng)，例如基于轉移動作的依存句法分析系統(tǒng)，意味著能夠從一個人工標注的句子中抽取多個動作序列，用于訓練模型參數(shù)。然而，傳統(tǒng)的

5、方法為了簡化訓練算法，利用約束條件將可抽取的動作序列數(shù)量限制為1。與傳統(tǒng)方法相比，本文中的算法能夠讓所有生成人工標注的動作序列參與到模型訓練，充分利用樹庫信息，從而提高句法分析的準確率。
　　本文提出了基于向上傳遞的依存分析標點處理方法。本文針對標點在句法結構中的作用以及對依存句法分析系統(tǒng)性能的影響進行了詳細的討論，實驗與總結。在此基礎上，我們提出僅對普通單詞進行依存分析，而將標點信息作為單詞的屬性，并將這些屬性隨著依存關系的構建