基于條件隨機(jī)域模型的中文地名識(shí)別的研究.pdf

1、中文地名識(shí)別屬于中文命名實(shí)體(Named Entity)識(shí)別范疇，它是自然語(yǔ)言處理的基礎(chǔ)任務(wù)之一，是機(jī)器翻譯、信息檢索、問(wèn)答系統(tǒng)等技術(shù)的基礎(chǔ)，中文地名在命名實(shí)體中占有很大比例。由于中文地名自身的特點(diǎn)，中文地名識(shí)別一直是中文自然語(yǔ)言處理的難題。
　　 本文在已有研究的基礎(chǔ)上，利用條件隨機(jī)域(Conditional Random Fields，CRFs)模型進(jìn)行中文地名自動(dòng)識(shí)別的研究，旨在提高中文地名識(shí)別的效果。
　　 本文

2、的核心工作概括為以下兩個(gè)方面：
　　 (1)首先簡(jiǎn)要介紹了隱馬爾科夫理論和最大熵隱馬爾科夫模型理論，然后進(jìn)一步介紹了由最大熵理論發(fā)展起來(lái)的CRFs模型。CRFs模型是目前比較優(yōu)秀的條件概率模型，它沒(méi)有隱馬爾科夫模型的輸出獨(dú)立性假設(shè)，同時(shí)最大程度上降低了最大熵模型的標(biāo)記偏置問(wèn)題帶來(lái)的影響，從而可以利用上下文特征獲得全局最優(yōu)的標(biāo)注結(jié)果。
　　 (2)在傳統(tǒng)用CRFs模型進(jìn)行中文地名識(shí)別中，使用單層CRFs模型很難獲取遠(yuǎn)距離特

3、征，因此為了易于處理非本地依賴實(shí)體的識(shí)別，提出雙層CRFs模型：將地名識(shí)別問(wèn)題轉(zhuǎn)化為序列標(biāo)注問(wèn)題，結(jié)合中文地名的特點(diǎn)，首先將中文文本中提取的地名特征分為三類：局部特征、非局部特征和詞典特征，同時(shí)將訓(xùn)練文本中的地名提取出來(lái)作原始地名詞典，然后利用局部特征訓(xùn)練第一層CRFs，對(duì)測(cè)試語(yǔ)料進(jìn)行測(cè)試，將識(shí)別的結(jié)果加入到原始地名詞典中，第二層CRFs利用非局部特征和通過(guò)最大匹配法獲的詞典特征進(jìn)行。
　　 本文的主要貢獻(xiàn)是在進(jìn)行中文地名識(shí)別時(shí)