基于循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的實體關(guān)系抽取方法研究.pdf

1、實體關(guān)系抽取作為自然語言處理領(lǐng)域的重要任務(wù)之一，近些年來一直是學(xué)術(shù)界和工業(yè)界的研究熱點。實體間語義關(guān)系的抽取，對于信息檢索、自動問答、智能推薦等前沿領(lǐng)域都具有重要的意義。傳統(tǒng)的實體關(guān)系抽取方法需要人工設(shè)計特征，耗費大量時間及人力，且容易導(dǎo)致錯誤傳播問題?；谏窠?jīng)網(wǎng)絡(luò)的方法可以自動進(jìn)行特征學(xué)習(xí)，避免了大量人工標(biāo)注工作。其中，卷積神經(jīng)網(wǎng)絡(luò)因其優(yōu)秀的特征提取能力已逐漸被用于實體關(guān)系抽取任務(wù)中。然而，對于文本語料中較長的實體共現(xiàn)句，往往只能獲取

2、到局部的特征，并不能學(xué)習(xí)到長距離依賴信息。
　　本文研究結(jié)合使用循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的實體關(guān)系抽取方法，主要工作如下:
　　(1)針對簡單卷積神經(jīng)網(wǎng)絡(luò)不能學(xué)習(xí)長距離依賴信息的問題，本文提出將擅長處理遠(yuǎn)距離依賴關(guān)系的循環(huán)神經(jīng)網(wǎng)絡(luò)GRU加入到卷積神經(jīng)網(wǎng)絡(luò)的向量表示階段，通過雙向GRU學(xué)習(xí)得到詞語的上下文信息向量，為后續(xù)的關(guān)系模型訓(xùn)練提供更加豐富的特征。
　　(2)針對卷積神經(jīng)網(wǎng)絡(luò)中普通最大池化無法捕獲兩個實體間結(jié)構(gòu)信

3、息的問題，本文提出在卷積神經(jīng)網(wǎng)絡(luò)的池化層采取分段最大池化方法，在獲取實體對結(jié)構(gòu)信息的同時，提取更細(xì)粒度的特征信息。
　　(3)針對遠(yuǎn)程監(jiān)督方法自動構(gòu)建標(biāo)注語料帶來的錯誤標(biāo)注問題，本文提出在關(guān)系抽取模型中加入基于句子級別的注意力機(jī)制，使正確表達(dá)對應(yīng)關(guān)系的語句得到較高的注意力權(quán)重，同時降低錯誤標(biāo)注語句的注意力權(quán)重，以此弱化錯誤標(biāo)注語料對模型的干擾，提高實體關(guān)系抽取的準(zhǔn)確率。
　　本文分別設(shè)計了英文和中文語料上的實驗驗證，實驗結(jié)果