基于混合方法的復(fù)雜命名實(shí)體抽取研究.pdf

1、命名實(shí)體抽取(Named Entity Extraction，NEE)的任務(wù)主要是從文本中抽取出專有名詞和有意義的短語并加以歸類。它是自然語言處理的一項(xiàng)重要技術(shù)。目前為止，大多數(shù)命名實(shí)體抽取研究都基本上集中在人名、地名、組織名這幾類上。然而NEE在WWW上的應(yīng)用依然是一個(gè)富有挑戰(zhàn)性的任務(wù)，如一些復(fù)雜的命名實(shí)體(如：書名、歌曲名、電影名等)很難從文本中精確的抽取出來。
　　 Web中包含了許多類似復(fù)雜的專名實(shí)體，這些專名是沒有定義

2、的，同時(shí)人為的預(yù)先給這些復(fù)雜的實(shí)體類進(jìn)行標(biāo)注也不實(shí)際的。在此背景下，本文主要對(duì)復(fù)雜命名實(shí)體的抽取進(jìn)行了研究，提出了一種基于混合方法的復(fù)雜命名實(shí)體抽取系統(tǒng)。本文首先研究如何使用WEB結(jié)構(gòu)樹獲取專名文本，接著使用隱馬爾科夫模型結(jié)合N-最短路徑完成切分和詞性標(biāo)注；在此基礎(chǔ)上重點(diǎn)研究了如何通過Bootstrapping統(tǒng)計(jì)方法結(jié)合最大熵模型(Maximum Entropy Model，MEM)構(gòu)建復(fù)雜命名實(shí)體抽取器。在應(yīng)用最大熵模型時(shí)充分利用專

3、名上下文許多分散零碎的信息獲取專名的特征模板,并通過自學(xué)習(xí)的方法不斷提高抽取效果。本文把統(tǒng)計(jì)和規(guī)則的方法有機(jī)的結(jié)合起來，分別對(duì)3類復(fù)雜命名實(shí)體(書名、歌曲名、電影名)進(jìn)行了抽取實(shí)驗(yàn)，通過實(shí)驗(yàn)結(jié)果和分析證明：使用混合方法具有良好的適應(yīng)性和學(xué)習(xí)能力，并取得了理想的抽取效果，達(dá)到了較好的精確率。
　　 本文充分利用WEB上的領(lǐng)域自然語言資源，針對(duì)目前領(lǐng)域語料庫相對(duì)不完善的背景，提出了使用統(tǒng)計(jì)和規(guī)則相結(jié)合的混合方法，對(duì)其中少部分語料進(jìn)行