特定領(lǐng)域命名實體識別通用方法的研究.pdf

1、命名實體識別對文本中固有名稱、標(biāo)識進行識別，是自然語言處理的基礎(chǔ)任務(wù)之一，被廣泛用于信息抽取、機器翻譯、信息檢索等多種任務(wù)中。命名實體識別在多種領(lǐng)域已經(jīng)取得了較好的識別效果，但識別方法多根據(jù)領(lǐng)域文本特點設(shè)計，不具有普遍性與適應(yīng)性。經(jīng)過調(diào)研與分析，本文嘗試使用基于條件隨機場、自學(xué)習(xí)算法和主動學(xué)習(xí)算法相結(jié)合的方式，實現(xiàn)一個特定領(lǐng)域命名實體識別的通用方法，適用大多數(shù)特定領(lǐng)域。
　　特定領(lǐng)域命名實體識別的通用方法實現(xiàn)過程中有兩個難點。首先

2、，使用條件隨機場對特定領(lǐng)域進行命名實體識別時，根據(jù)領(lǐng)域特性選取的特征具有領(lǐng)域獨立性，且選取特征的人員需要豐富的專業(yè)領(lǐng)域知識。其次,特定領(lǐng)域文本的大規(guī)模標(biāo)注語料難以獲取。針對上述兩個難點，本文完成了以下工作:
　　(1)基于詞向量相似度特征的條件隨機場訓(xùn)練。首先使用Word2vec進行詞向量訓(xùn)練，通過詞向量本身驗證詞向量包含豐富的語義和領(lǐng)域特性，以及不同語料與不同維度的詞向量具有一定的差異性。然后選取任何領(lǐng)域都包含的通用統(tǒng)計特征，以

3、及詞向量相似度特征，以遞增式學(xué)習(xí)的策略選擇最小完備特征集合參與條件隨機場的訓(xùn)練，使得模型具有適應(yīng)性和領(lǐng)域性。本文在交通領(lǐng)域文本驗證了該方法，實驗結(jié)果表明，詞向量相似度特征對提高識別效果有積極的作用。但由于標(biāo)注樣本過少，識別效果仍不理想。
　　(2)在基于使用詞向量相似度特征的條件隨機場的基礎(chǔ)上，采用自學(xué)習(xí)算法和主動學(xué)習(xí)算法相結(jié)合的方式進一步訓(xùn)練模型。迭代過程中，利用主動學(xué)習(xí)選取低置信度樣本進行人工標(biāo)注，克服了自學(xué)習(xí)算法選取過多與原