基于角色標(biāo)注的中文機(jī)構(gòu)名識別

1、基于角色標(biāo)注的中文機(jī)構(gòu)名識別基于角色標(biāo)注的中文機(jī)構(gòu)名識別?俞鴻魁12張華平1劉群131中國科學(xué)院計算技術(shù)研究所軟件研究室北京1000802北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院北京1000293北京大學(xué)信息學(xué)院計算機(jī)系計算語言所北京100871Email：摘要：中文機(jī)構(gòu)名自動識別是命名實體識別的重點(diǎn)和難點(diǎn)，目前各種解決方案的實際效果還難以滿足人們的實際需求。本文提出了一種基于角色標(biāo)注的中文機(jī)構(gòu)名自動識別方法，其基本思想是：根據(jù)在機(jī)構(gòu)名識別中的作

2、用，采取Viterbi算法對切分結(jié)果進(jìn)行角色標(biāo)注，在角色序列的基礎(chǔ)上，進(jìn)行字符串識別，最終實現(xiàn)中文機(jī)構(gòu)名的識別。識別過程中我們只需要某個詞作為特點(diǎn)角色的概率以及角色之間的轉(zhuǎn)移概率。該方法的實用性還在于：這些角色信息完全可以從真實語料庫中自動抽取得到。通過對大規(guī)模真實語料庫的封閉測試中，該方法取得了接近90%的召回率和準(zhǔn)確率，即使在開放測試中，準(zhǔn)確率也高達(dá)88%。不同實驗從各個角色表明：基于角色標(biāo)注的機(jī)構(gòu)名識別算法是行之有效的。關(guān)鍵詞：中

3、文機(jī)構(gòu)名識別；未登錄詞識別；角色標(biāo)注；Viterbi算法RecognitionofChineseganizationNameBasedonRoleTaggingYUHongKui12ZHANGHuaPing1LIUQun131InstituteofComputingTechnologyTheChineseAcademyofSciencesBeijing100080China2Infmationsciencethepossiblename

4、sarerecognizedafterstingidentificationontherolessequence.Duringtherecognitionprocessonlythepossibilitiesoftokensbeingspecificrolesthetransitionpossibilitiesbetweenrolesarerequired.Thesignificanceisthatsuchlexicalknowledg

5、ecanbetotallyextractedfromcpusautomatically.Inbothcloseopentestonlargerealisticcpusits?本文得到國家重點(diǎn)基礎(chǔ)研究項目(G19980305074；G1998030510)和計算所領(lǐng)域前沿青年基金項目2002618023資助作者俞鴻魁俞鴻魁，男，1978年生，北京化工大學(xué)計算機(jī)系研究生，中科院計算所客座學(xué)生，主要研究方向為計算機(jī)語言學(xué)。張華平張華平男，19

6、78年生博士研究生，主要研究方向為計算語言學(xué)，中文信息處理與信息抽取。劉群劉群，男，1966年生，在職博士研究生，副研究員，主要研究方向為機(jī)器翻譯，自然語言處理與中文信息處理。構(gòu)名稱的邊界很難確定，加大了機(jī)構(gòu)名識別的難度。第五，大多數(shù)機(jī)構(gòu)名都有其簡稱。簡稱一般都是取其全稱中的幾個關(guān)鍵字或關(guān)鍵詞，例如“聯(lián)想”、“人大”。大量的機(jī)構(gòu)名簡稱的出現(xiàn)，使得本來已經(jīng)十分困難的問題變得更加困難。綜上所述，機(jī)構(gòu)名的這些特點(diǎn)，使得機(jī)構(gòu)名的識別變得困難重重

7、。1.2.已有的工作命名實體識別不外乎基于規(guī)則[7]的方法、基于統(tǒng)計的方法以及把規(guī)則和統(tǒng)計相結(jié)合[8]的方法。其實在實際應(yīng)用中，純的基于統(tǒng)計的方法并不多，統(tǒng)計中或多或少引入一些規(guī)則。機(jī)構(gòu)名大多都有非常有特點(diǎn)的詞作結(jié)尾，尤其是在特定的領(lǐng)域內(nèi)，例如在金融領(lǐng)域內(nèi)的機(jī)構(gòu)名，大多都是以“公司”、“集團(tuán)”作為結(jié)尾。金融類機(jī)構(gòu)名[7]的這種表面上的規(guī)律使得人們很容易就想到使用規(guī)則的方法來識別這類機(jī)構(gòu)名。雖然在封閉測試中，能達(dá)到百分之九十多的準(zhǔn)確率和召

8、回率，但是在開放測試中，僅能達(dá)到百分之六十多一點(diǎn)，遠(yuǎn)遠(yuǎn)不能滿足人們的實際需求。在特定領(lǐng)域內(nèi)尚且如此，如果把基于規(guī)則的方法推廣到全領(lǐng)域內(nèi)，其效果是可以想像的到的，可見單純地使用規(guī)則的方法來處理這種最為復(fù)雜的命名實體是不適宜的。使用基于規(guī)則的方法之所以行不通，關(guān)鍵是只注意到了機(jī)構(gòu)名結(jié)尾的規(guī)律性，而忽視了機(jī)構(gòu)名用詞的無規(guī)律性。大量未登錄詞作為機(jī)構(gòu)名用詞，使得規(guī)則系統(tǒng)變得無能為力，這點(diǎn)在開放測試中，顯得尤為突出。文獻(xiàn)[9]提出了一個專名的一體化

9、識別方法，從語料和專名表中統(tǒng)計和分析了各種專名的內(nèi)部構(gòu)成，其中有關(guān)機(jī)構(gòu)名的有：企業(yè)字號常用字（詞）、企業(yè)經(jīng)營內(nèi)容、企業(yè)經(jīng)營內(nèi)容前修飾成分、企業(yè)機(jī)構(gòu)類型等屬性，然后對具有各種專名屬性特征的單字和多字詞進(jìn)行窮盡式的標(biāo)注，最后用一個逆向的規(guī)則系統(tǒng)，使用逆向掃描、尾字激活的策略，運(yùn)用27條規(guī)則對機(jī)構(gòu)名進(jìn)行識別，在小規(guī)模的語料上測試，取得了不錯的效果。不過識別規(guī)則過于復(fù)雜。在機(jī)構(gòu)名識別方面，前人們還一項非常有參考價值的工作，就是文獻(xiàn)[11]提出的

10、采用基于類的語言模型把中文分詞和命名實體識別結(jié)合在一起，其中在機(jī)構(gòu)名識別上也取得了不錯的成果。在總結(jié)前人工作的基礎(chǔ)上，本文提出了一個新的機(jī)構(gòu)名識別方法——基于角色標(biāo)注的方法。首先，在人名和地名識別的基礎(chǔ)上，對機(jī)構(gòu)名內(nèi)部構(gòu)成角色進(jìn)行有選擇的分類，然后采用隱馬模型[12][13]，對分詞結(jié)果進(jìn)行機(jī)構(gòu)名構(gòu)成角色的標(biāo)注，最后，在角色序列上進(jìn)行模式串識別，并最終識別出機(jī)構(gòu)名。這套識別方法，已經(jīng)實際應(yīng)用到我們的漢語詞法分析系統(tǒng)（ICTCLAS）中，