基于規(guī)則和條件隨機場的中文命名實體識別方法研究.pdf

1、命名實體識別的任務(wù)就是將文本中指定的實體名自動識別出來，在自然語言處理領(lǐng)域，它是一項基礎(chǔ)性的研究工作，在信息抽取、信息檢索、機器翻譯、自動問答領(lǐng)域有著非常廣泛的應(yīng)用，命名實體識別研究具有重要的理論意義和實踐價值。本文采用基于規(guī)則和條件隨機場模型(CRF)的方法來進行中文命名實體識別研究。
　　本文深入分析了國內(nèi)外命名實體識別研究的相關(guān)技術(shù)，在分析和比較了基于規(guī)則的方法、基于隱馬爾可夫模型的方法、最大熵模型以及條件隨機場模型之后，提

2、出了采用基于規(guī)則和條件隨機場相結(jié)合的中文命名實體識別研究方案。
　　在命名實體識別過程中，由于數(shù)詞和時間詞的表達(dá)結(jié)構(gòu)較為規(guī)范，所以采用基于規(guī)則的方式來進行識別;同時考慮到人名、地名和機構(gòu)名的不規(guī)則性，而采用條件隨機場模型，大量的命名實體識別研究表明，基于單個漢字提取上下文特征能夠取得更為豐富的特征值，所以在本文中以字為單位進行文本切割，獲取每個字的上下文特征，然后采用條件隨機場進行機器學(xué)習(xí)，最終實現(xiàn)對句子中包含的組織機構(gòu)名、人名和

3、地名的自動識別。在模型的訓(xùn)練過程中，采用多種不同的模板進行訓(xùn)練，選擇效果最佳的模板，這在一定程度上提高了實體識別的效果。本文主要的工作分為三點:
　　1.采用人民日報的語料庫，借用謝菲爾德大學(xué)的開源軟件GATE框架定義識別規(guī)則，自動識別出語料中的時間詞和數(shù)詞。
　　2.采用條件隨機場模型，選取不同的特征，對不同的特征模板進行比較選出最優(yōu)的一個，完成對組織名、人名、地點的識別，最后與正確的人工標(biāo)記結(jié)果進行比較，測評出準(zhǔn)確率和召