中文命名實體識別粒度和特征選擇研究.pdf

1、本課題來源于國家自然科學基金重點項目——國家自然科學基金重點項目“融合語言知識與統(tǒng)計模型的機器翻譯方法研究”（60736014）、國家863計劃重點項目“面向跨語言搜索的機器翻譯關(guān)鍵技術(shù)研究”（2006AA010108）、微軟亞洲研究院IFP（FY09-RES-THEME-158）。
　　命名實體識別是眾多自然語言處理的基礎(chǔ)，近些年來有很多學者對命名實體任務(wù)進行研究。大體上，命名實體的識別過程分為兩大類，規(guī)則與統(tǒng)計。對于不同的命名

2、實體類別，如人名、地名、機構(gòu)名等，分析其固有的規(guī)律，國內(nèi)外學者也做了大量的研究，發(fā)現(xiàn)了很多針對性強的特征，并取得了很好的效果。
　　本論文嘗試回答中文命名實體識別中的兩個問題：
　　1.怎樣選擇中文命名實體識別的粒度，以字還是以詞作為處理單位？
　　2.對不同類別的中文命名實體，什么樣的特征或者特征組合最有效？
　　本文首先將中文命名實體識別轉(zhuǎn)化為序列標注問題。理論上講，一切可
　　以用于序列標注問題的機器

3、學習模型，都能夠用于命名實體識別，在本論文實驗選擇的是近幾年來應(yīng)用比較廣泛的條件隨機域模型。條件隨機域模型是一個典型的判別式模型，能避免嚴格的獨立性假設(shè)，也能綜合利用生成模型中生成的假設(shè)，因此，判別式模型能融合大量的特征，比如語言學特征，從而更適用于序列標注。同時，我們不僅用到了同一個句子中的局部特征，也綜合利用了從整個語料中提取處的全局知識特征。
　　本文的主要研究內(nèi)容包括如下三個部分：
　　1.命名實體識別的顆粒度研究。

4、本論文使用了兩種顆粒度，基于字和基于詞。通過特征模板實驗，對于基于字和基于詞的方法，分別選取了3個字和2個詞的特征模板區(qū)間。通過驗證可以發(fā)現(xiàn)，人名、地名因其顆粒度較小，用基于字的方法能取得更好的結(jié)果；機構(gòu)名因其顆粒度較大，用基于詞的方法能取得更好的結(jié)果。
　　2.先驗知識庫的構(gòu)建。通過加入先驗知識庫，能從全局的范圍提取特征，從而能極大的提高命名實體識別的性能。根據(jù)實驗，形成了姓氏庫、人名庫、地名庫、左指界詞庫、右指界詞庫、地名后綴