中文命名實體識別及評測方法.pdf

1、命名實體是文本中基本的信息元素，是正確理解文本的基礎(chǔ)。命名實體識別(Named Entity Reeognition, NER)的主要任務(wù)是識別出文本中出現(xiàn)的名字實體和有意義的數(shù)量短語并加以歸類，主要包括人名、地名、組織機構(gòu)名、時間表達式、日期、數(shù)字表達式等。命名實體識別是自然語言處理中的熱點問題和基礎(chǔ)性工作，對自然語言處理具有極其重要的意義，并被應(yīng)用到自然語言處理的許多領(lǐng)域，如信息檢索、信息抽取和機器翻譯等。目前，命名實體識別主要采用

2、基于規(guī)則的方法、基于統(tǒng)計的方法和基于規(guī)則和統(tǒng)計相結(jié)合的方法。
　　 當(dāng)前，中文命名實體識別(NER)研究的重點和難點是中文人名、地名和組織機構(gòu)名。本文針對中文人名識別和評測進行了研究，具體工作主要集中在以下幾個方面：
　　 第一，針對中文人名用字相對整個漢字集相對集中的特點，通過真實人名語料庫訓(xùn)練中文人名用字規(guī)律，得到每個字作為中文姓氏和人名概率，并根據(jù)在中文人名識別中的作用對姓氏用字和人名用字進行分類，計算句子中各個候

3、選字段作為中文人名的概率值；通過標準標注語料庫獲得人名的上下文信息，結(jié)合候選字段的概率值對中文人名進行初篩選。
　　 第二，充分挖掘中文人名與其上下文信息的關(guān)聯(lián)程度以及中文人名內(nèi)部之間關(guān)聯(lián)程度，引入互信息對其進行定量的描述。對中文人名上下文互信息、中文人名內(nèi)部互信息以及交叉潛在人名互信息的定義，評價函數(shù)的計算和過濾閾值的確定進行了詳細的介紹，通過實驗給出了各種情況下的過濾閾值。
　　 第三，對命名實體識別評測的意義和當(dāng)前

4、中文人名識別評測方法的不足進行了比較詳細的描述。針對當(dāng)前評測方法的不足，提出了一種面向中文人名識別系統(tǒng)的自動評測方法。主要包括評測語料庫的構(gòu)建，評測文件的產(chǎn)生，識別結(jié)果的產(chǎn)生和評測結(jié)果的計算幾個部分。
　　 實驗結(jié)果表明，本文所采用的中文人名識別方法，獲得了比較理想的識別效果，所提出的中文人名識別評測方法能夠克服當(dāng)前人名識別評測方法中評測文件規(guī)模較小、固定不變和不可重復(fù)利用的缺點，能夠正確、客觀地對人名識別系統(tǒng)進行評測，對推動中