基于角色標(biāo)注的中文機(jī)構(gòu)名識(shí)別

1、基于角色標(biāo)注的中文機(jī)構(gòu)名識(shí)別基于角色標(biāo)注的中文機(jī)構(gòu)名識(shí)別?俞鴻魁12張華平1劉群131中國(guó)科學(xué)院計(jì)算技術(shù)研究所軟件研究室北京1000802北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院北京1000293北京大學(xué)信息學(xué)院計(jì)算機(jī)系計(jì)算語(yǔ)言所北京100871Email：摘要：中文機(jī)構(gòu)名自動(dòng)識(shí)別是命名實(shí)體識(shí)別的重點(diǎn)和難點(diǎn)，目前各種解決方案的實(shí)際效果還難以滿足人們的實(shí)際需求。本文提出了一種基于角色標(biāo)注的中文機(jī)構(gòu)名自動(dòng)識(shí)別方法，其基本思想是：根據(jù)在機(jī)構(gòu)名識(shí)別中的作

2、用，采取Viterbi算法對(duì)切分結(jié)果進(jìn)行角色標(biāo)注，在角色序列的基礎(chǔ)上，進(jìn)行字符串識(shí)別，最終實(shí)現(xiàn)中文機(jī)構(gòu)名的識(shí)別。識(shí)別過(guò)程中我們只需要某個(gè)詞作為特點(diǎn)角色的概率以及角色之間的轉(zhuǎn)移概率。該方法的實(shí)用性還在于：這些角色信息完全可以從真實(shí)語(yǔ)料庫(kù)中自動(dòng)抽取得到。通過(guò)對(duì)大規(guī)模真實(shí)語(yǔ)料庫(kù)的封閉測(cè)試中，該方法取得了接近90%的召回率和準(zhǔn)確率，即使在開(kāi)放測(cè)試中，準(zhǔn)確率也高達(dá)88%。不同實(shí)驗(yàn)從各個(gè)角色表明：基于角色標(biāo)注的機(jī)構(gòu)名識(shí)別算法是行之有效的。關(guān)鍵詞：中

3、文機(jī)構(gòu)名識(shí)別；未登錄詞識(shí)別；角色標(biāo)注；Viterbi算法RecognitionofChineseganizationNameBasedonRoleTaggingYUHongKui12ZHANGHuaPing1LIUQun131InstituteofComputingTechnologyTheChineseAcademyofSciencesBeijing100080China2Infmationsciencethepossiblename

4、sarerecognizedafterstingidentificationontherolessequence.Duringtherecognitionprocessonlythepossibilitiesoftokensbeingspecificrolesthetransitionpossibilitiesbetweenrolesarerequired.Thesignificanceisthatsuchlexicalknowledg

5、ecanbetotallyextractedfromcpusautomatically.Inbothcloseopentestonlargerealisticcpusits?本文得到國(guó)家重點(diǎn)基礎(chǔ)研究項(xiàng)目(G19980305074；G1998030510)和計(jì)算所領(lǐng)域前沿青年基金項(xiàng)目2002618023資助作者俞鴻魁俞鴻魁，男，1978年生，北京化工大學(xué)計(jì)算機(jī)系研究生，中科院計(jì)算所客座學(xué)生，主要研究方向?yàn)橛?jì)算機(jī)語(yǔ)言學(xué)。張華平張華平男，19

6、78年生博士研究生，主要研究方向?yàn)橛?jì)算語(yǔ)言學(xué)，中文信息處理與信息抽取。劉群劉群，男，1966年生，在職博士研究生，副研究員，主要研究方向?yàn)闄C(jī)器翻譯，自然語(yǔ)言處理與中文信息處理。構(gòu)名稱的邊界很難確定，加大了機(jī)構(gòu)名識(shí)別的難度。第五，大多數(shù)機(jī)構(gòu)名都有其簡(jiǎn)稱。簡(jiǎn)稱一般都是取其全稱中的幾個(gè)關(guān)鍵字或關(guān)鍵詞，例如“聯(lián)想”、“人大”。大量的機(jī)構(gòu)名簡(jiǎn)稱的出現(xiàn)，使得本來(lái)已經(jīng)十分困難的問(wèn)題變得更加困難。綜上所述，機(jī)構(gòu)名的這些特點(diǎn)，使得機(jī)構(gòu)名的識(shí)別變得困難重重

7、。1.2.已有的工作命名實(shí)體識(shí)別不外乎基于規(guī)則[7]的方法、基于統(tǒng)計(jì)的方法以及把規(guī)則和統(tǒng)計(jì)相結(jié)合[8]的方法。其實(shí)在實(shí)際應(yīng)用中，純的基于統(tǒng)計(jì)的方法并不多，統(tǒng)計(jì)中或多或少引入一些規(guī)則。機(jī)構(gòu)名大多都有非常有特點(diǎn)的詞作結(jié)尾，尤其是在特定的領(lǐng)域內(nèi)，例如在金融領(lǐng)域內(nèi)的機(jī)構(gòu)名，大多都是以“公司”、“集團(tuán)”作為結(jié)尾。金融類機(jī)構(gòu)名[7]的這種表面上的規(guī)律使得人們很容易就想到使用規(guī)則的方法來(lái)識(shí)別這類機(jī)構(gòu)名。雖然在封閉測(cè)試中，能達(dá)到百分之九十多的準(zhǔn)確率和召

8、回率，但是在開(kāi)放測(cè)試中，僅能達(dá)到百分之六十多一點(diǎn)，遠(yuǎn)遠(yuǎn)不能滿足人們的實(shí)際需求。在特定領(lǐng)域內(nèi)尚且如此，如果把基于規(guī)則的方法推廣到全領(lǐng)域內(nèi)，其效果是可以想像的到的，可見(jiàn)單純地使用規(guī)則的方法來(lái)處理這種最為復(fù)雜的命名實(shí)體是不適宜的。使用基于規(guī)則的方法之所以行不通，關(guān)鍵是只注意到了機(jī)構(gòu)名結(jié)尾的規(guī)律性，而忽視了機(jī)構(gòu)名用詞的無(wú)規(guī)律性。大量未登錄詞作為機(jī)構(gòu)名用詞，使得規(guī)則系統(tǒng)變得無(wú)能為力，這點(diǎn)在開(kāi)放測(cè)試中，顯得尤為突出。文獻(xiàn)[9]提出了一個(gè)專名的一體化

9、識(shí)別方法，從語(yǔ)料和專名表中統(tǒng)計(jì)和分析了各種專名的內(nèi)部構(gòu)成，其中有關(guān)機(jī)構(gòu)名的有：企業(yè)字號(hào)常用字（詞）、企業(yè)經(jīng)營(yíng)內(nèi)容、企業(yè)經(jīng)營(yíng)內(nèi)容前修飾成分、企業(yè)機(jī)構(gòu)類型等屬性，然后對(duì)具有各種專名屬性特征的單字和多字詞進(jìn)行窮盡式的標(biāo)注，最后用一個(gè)逆向的規(guī)則系統(tǒng)，使用逆向掃描、尾字激活的策略，運(yùn)用27條規(guī)則對(duì)機(jī)構(gòu)名進(jìn)行識(shí)別，在小規(guī)模的語(yǔ)料上測(cè)試，取得了不錯(cuò)的效果。不過(guò)識(shí)別規(guī)則過(guò)于復(fù)雜。在機(jī)構(gòu)名識(shí)別方面，前人們還一項(xiàng)非常有參考價(jià)值的工作，就是文獻(xiàn)[11]提出的

10、采用基于類的語(yǔ)言模型把中文分詞和命名實(shí)體識(shí)別結(jié)合在一起，其中在機(jī)構(gòu)名識(shí)別上也取得了不錯(cuò)的成果。在總結(jié)前人工作的基礎(chǔ)上，本文提出了一個(gè)新的機(jī)構(gòu)名識(shí)別方法——基于角色標(biāo)注的方法。首先，在人名和地名識(shí)別的基礎(chǔ)上，對(duì)機(jī)構(gòu)名內(nèi)部構(gòu)成角色進(jìn)行有選擇的分類，然后采用隱馬模型[12][13]，對(duì)分詞結(jié)果進(jìn)行機(jī)構(gòu)名構(gòu)成角色的標(biāo)注，最后，在角色序列上進(jìn)行模式串識(shí)別，并最終識(shí)別出機(jī)構(gòu)名。這套識(shí)別方法，已經(jīng)實(shí)際應(yīng)用到我們的漢語(yǔ)詞法分析系統(tǒng)（ICTCLAS）中，