基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的兩階段中文命名實(shí)體識(shí)別研究.pdf

1、作為信息抽取的基本任務(wù)，也是重要任務(wù)之一，命名實(shí)體識(shí)別已經(jīng)成為自然語言處理的研究熱點(diǎn)之一。從1998年開始，由美國國防高級(jí)研究計(jì)劃委員會(huì)資助的消息理解會(huì)議就把命名實(shí)體識(shí)別當(dāng)作它的子任務(wù)之一，并明確定義命名實(shí)體包括1．實(shí)體(組織名、人名、地名)；2．時(shí)間表達(dá)式(日期、時(shí)間)；3.數(shù)字表達(dá)式(貨幣值、百分?jǐn)?shù))。之后的自動(dòng)內(nèi)容抽取評測更加拓寬的命名實(shí)體識(shí)別的范圍，把實(shí)體的提及、實(shí)體之間的關(guān)系都列為考察內(nèi)容。 從2003年開始，計(jì)算語言

2、協(xié)會(huì)下屬的中文特別興趣小組發(fā)起了中文分詞和命名實(shí)體識(shí)別競賽中，到2007年已經(jīng)舉辦四次。前兩次只在中文分詞任務(wù)上展開評測，后兩次加入了中文命名實(shí)體識(shí)別評測。SIGHAN定義中文命名實(shí)體包括人名、地名、機(jī)構(gòu)名和地理信息名等四種，命名實(shí)體識(shí)別就是在未分詞的語料中識(shí)別這四種實(shí)體的過程。 本文以SIGHAN競賽的命名實(shí)體定義和評測標(biāo)準(zhǔn)為依據(jù)，提出了一種基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的兩階段命名實(shí)體識(shí)別方法，把命名實(shí)體識(shí)別分為邊界檢測和類型識(shí)別兩個(gè)階段

3、，針對兩個(gè)階段的特點(diǎn)選取不同的機(jī)器學(xué)習(xí)方法，在幾乎不損失精度的情況下大大減小了訓(xùn)練所需的時(shí)間復(fù)雜度和空間復(fù)雜度，這對訓(xùn)練代價(jià)特別大的條件隨機(jī)場模型有著尤其重要的意義。 兩階段中文命名實(shí)體識(shí)別的過程是：首先進(jìn)行實(shí)體邊界檢測，邊界檢測可以轉(zhuǎn)化為一個(gè)序列標(biāo)注問題，因此選用可以融入豐富特征并無標(biāo)記偏置問題的條件隨機(jī)場模型；然后使用最大熵模型進(jìn)行實(shí)體類型識(shí)別，因?yàn)樗蠞M足已知約束情況下不對未知事物做出任何推斷的哲學(xué)原理，并且在許多自然語

4、言處理任務(wù)上有出色表現(xiàn)。 在進(jìn)行邊界檢測時(shí)：第一，對比了常見的六種標(biāo)記集，實(shí)驗(yàn)結(jié)果顯示了同時(shí)強(qiáng)調(diào)實(shí)體開頭和結(jié)尾的BIOE標(biāo)記集有最好的性能；第二，對比了不同特征模板窗口大小對邊界檢測效果的影響，實(shí)驗(yàn)證明窗口數(shù)過大或過小都不好，過小的窗口可能損失上下文信息，而過大的窗口又會(huì)造成特征量過大，使訓(xùn)練代價(jià)提高，且會(huì)造成數(shù)據(jù)稀疏。 在進(jìn)行類型識(shí)別時(shí)將所用特征歸為兩類，與實(shí)體本身相關(guān)的本地特征和與上下文相關(guān)的全局特征。本地特征只包含

5、實(shí)體本身用字信息，而全局特征包含實(shí)體所處上下文用字的信息。把特征分成這兩類的目的是考察實(shí)體本身和上下文用字對實(shí)體類型的區(qū)分性。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，僅僅使用本地特征就可以取得很好的效果。分析原因發(fā)現(xiàn)同一實(shí)體在不同上下文中呈現(xiàn)不同類別的混淆現(xiàn)象很少，因此只使用實(shí)體本身的信息就可以很好的區(qū)別不同的實(shí)體。 接著把一階段與兩階段實(shí)體識(shí)別進(jìn)行了對比，發(fā)現(xiàn)兩階段與一階段的識(shí)別準(zhǔn)確率(F值)非常接近，略低于SIGHAN的最好結(jié)果。但兩階段的時(shí)間復(fù)雜度