基于循環(huán)卷積神經網絡的實體關系抽取方法研究.pdf

1、實體關系抽取作為自然語言處理領域的重要任務之一，近些年來一直是學術界和工業(yè)界的研究熱點。實體間語義關系的抽取，對于信息檢索、自動問答、智能推薦等前沿領域都具有重要的意義。傳統(tǒng)的實體關系抽取方法需要人工設計特征，耗費大量時間及人力，且容易導致錯誤傳播問題。基于神經網絡的方法可以自動進行特征學習，避免了大量人工標注工作。其中，卷積神經網絡因其優(yōu)秀的特征提取能力已逐漸被用于實體關系抽取任務中。然而，對于文本語料中較長的實體共現(xiàn)句，往往只能獲取

2、到局部的特征，并不能學習到長距離依賴信息。
　　本文研究結合使用循環(huán)神經網絡和卷積神經網絡的實體關系抽取方法，主要工作如下:
　　(1)針對簡單卷積神經網絡不能學習長距離依賴信息的問題，本文提出將擅長處理遠距離依賴關系的循環(huán)神經網絡GRU加入到卷積神經網絡的向量表示階段，通過雙向GRU學習得到詞語的上下文信息向量，為后續(xù)的關系模型訓練提供更加豐富的特征。
　　(2)針對卷積神經網絡中普通最大池化無法捕獲兩個實體間結構信

3、息的問題，本文提出在卷積神經網絡的池化層采取分段最大池化方法，在獲取實體對結構信息的同時，提取更細粒度的特征信息。
　　(3)針對遠程監(jiān)督方法自動構建標注語料帶來的錯誤標注問題，本文提出在關系抽取模型中加入基于句子級別的注意力機制，使正確表達對應關系的語句得到較高的注意力權重，同時降低錯誤標注語句的注意力權重，以此弱化錯誤標注語料對模型的干擾，提高實體關系抽取的準確率。
　　本文分別設計了英文和中文語料上的實驗驗證，實驗結果