基于CRF的英文命名實(shí)體識(shí)別研究.pdf

1、命名實(shí)體是文本中基本的信息元素，是正確理解文本的基礎(chǔ)。命名實(shí)體識(shí)別就是要判斷一個(gè)字符串是否代表一個(gè)命名實(shí)體，并確定它的類(lèi)別，即發(fā)現(xiàn)命名實(shí)體和標(biāo)注命名實(shí)體。命名實(shí)體識(shí)別的研究廣泛應(yīng)用于諸多自然語(yǔ)言處理任務(wù)中，如機(jī)器翻譯、文本分類(lèi)、信息檢索和自動(dòng)文摘等，所以它的研究成果必將推動(dòng)自然語(yǔ)言處理領(lǐng)域的相關(guān)研究。本文主要對(duì)英文命名實(shí)體識(shí)別進(jìn)行了研究。分別利用了改進(jìn)的隱馬爾可夫模型(HiddenMarkovModel,HMM)和條件隨機(jī)域模型(Con

2、ditionalRandomField,CRF)兩種方法進(jìn)行英文命名實(shí)體的識(shí)別，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析。
　　本文首先使用改進(jìn)的HMM模型對(duì)英文命名實(shí)體識(shí)別進(jìn)行了實(shí)驗(yàn)。通過(guò)對(duì)結(jié)果的分析，發(fā)現(xiàn)雖然其效果要比傳統(tǒng)的HMM模型有明顯的提高，但是對(duì)文本中的上下文信息、詞匯的語(yǔ)義信息等各種特征的結(jié)合能力還不是很理想。
　　然后本文使用了條件隨機(jī)域模型結(jié)合多種特征的方法對(duì)英文命名實(shí)體識(shí)別進(jìn)行了實(shí)驗(yàn)。通過(guò)對(duì)特征選擇問(wèn)題的研究，發(fā)現(xiàn)各種特征