基于遞歸神經(jīng)網(wǎng)絡(luò)的生物醫(yī)學(xué)命名實(shí)體識別.pdf

1、生物醫(yī)學(xué)領(lǐng)域中的諸多信息抽取任務(wù)，如關(guān)系抽取、文本分類、指代消解以及事件抽取等，往往需要預(yù)先識別出文本中表示指定類型的實(shí)體名稱。目前的命名實(shí)體識別方法需要豐富的領(lǐng)域?qū)＜抑R，抽取大量人工特征。為了降低這些人工設(shè)計(jì)耗費(fèi)的代價(jià)，本文基于預(yù)訓(xùn)練的詞向量和遞歸神經(jīng)網(wǎng)絡(luò)，提出簡單有效的生物命名實(shí)體識別方法;并對神經(jīng)網(wǎng)絡(luò)進(jìn)行一系列擴(kuò)展和改進(jìn)，提高對實(shí)體的識別性能以及在不同語料集上的適應(yīng)性。
　　首先，在傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的基礎(chǔ)上，對隱

2、層和輸出層同時(shí)采用遞歸計(jì)算，使隱藏層記錄前文的歷史信息;而輸出層可以建立起標(biāo)記之間潛在的依賴關(guān)系。同時(shí)，為了彌補(bǔ)在對句子劃分子序列時(shí)導(dǎo)致的上下文信息缺失，利用布朗聚類算法和狄利克雷(LDA)算法構(gòu)建特征層模式化范圍更廣的上下文語義信息。最后，組合兩個(gè)方向相反的單向RNN進(jìn)行生物醫(yī)學(xué)文本中的命名實(shí)體識別，在BiocreativeⅡ GM語料上的F-值達(dá)到了83.62％。
　　其次，為了進(jìn)一步提高命名實(shí)體識別的效果，克服RNN在處理過

3、長句子時(shí)存在的梯度彌散問題，采用長短時(shí)記憶(LSTM)網(wǎng)絡(luò)結(jié)構(gòu);并在此基礎(chǔ)上，構(gòu)建了雙向LSTM(BLSTM)遞歸神經(jīng)網(wǎng)絡(luò)。另外微調(diào)詞向量的過程會導(dǎo)致預(yù)訓(xùn)詞向量信息的丟失，本文提出采用兩套不同的詞向量擴(kuò)展LSTM結(jié)構(gòu)單元;并根據(jù)兩套詞向量差值計(jì)算出句子語義向量表示，從而構(gòu)建出融入句子向量和雙向詞向量的BLSTM(ST-BLSTM)遞歸神經(jīng)網(wǎng)絡(luò)。在BiocreativeⅡ GM語料上，本文的方法達(dá)到了88.61％的F-值，比采用詞典與分類