漢語嵌套命名實體識別方法研究.pdf

1、隨著近幾年互聯(lián)網(wǎng)的飛速發(fā)展,網(wǎng)絡中各種各樣的電子文本信息急劇膨脹。如何迅速、有效地從這些海量的、非結構化的文本中獲取我們所需要的信息和知識已經(jīng)成為自然語言處理領域的一個研究熱點。作為信息抽取的重要子任務,命名實體識別在許多自然語言處理應用領域起著十分重要的作用,其主要目的是識別文本或句子中表示人名、地名、機構名以及時間日期等信息的短語。
　　 本文引入實體語素概念,在機器學習框架融合實體內部結構特征和外部上下文信息研究人名、地名

2、和機構名等命名實體識別方法,重點解決地名和機構名當中存在的大量復雜的、含有嵌套結構的命名實體識別問題。具體地,本文從以下三個方面展開研究:
　　 首先,采用基于機器學習方法構建漢語命名實體的雙層模型,并通過實驗對最大熵和條件隨機場組合成的四種雙層模型進行了對比測試。結果表明基于條件隨機場的雙層模型對嵌套命名實體的識別效果最好。在此基礎上,對雙層模型的錯誤識別結果進行了分析,進而提出一種基于互信息的后處理方法,對復雜的命名實體進行

3、糾錯處理,很大程度上解決了嵌套命名實體邊界識別錯誤問題。
　　 其次,將非嵌套的簡單實體和嵌套的復雜實體分開分別處理,同時以字和詞相結合的方式,深入剖析多層嵌套命名實體的結構特點,并以此為基礎改進基于條件隨機場的雙層模型結構,以進一步提高嵌套命名實體識別效果。
　　 最后,通過語料庫考察了漢語嵌套命名實體與實體語素之間的關系,并以命名實體語素為基礎,通過Logistic回歸模型中Logistic變換方法篩選出的嵌套命名實