基于最大熵模型的中文命名實(shí)體識(shí)別研究及系統(tǒng)實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的急劇發(fā)展,網(wǎng)絡(luò)信息和數(shù)據(jù)在不斷的增加,人們對(duì)信息的需求也越來越大。因此,如何從互聯(lián)網(wǎng)中快速有效的獲取人們想要的信息成為了關(guān)鍵問題。命名實(shí)體識(shí)別是信息抽取技術(shù)的基礎(chǔ),對(duì)信息檢索、搜索引擎、問答系統(tǒng)和機(jī)器翻譯的研究和應(yīng)用都能起到促進(jìn)作用。
　　中文命名實(shí)體識(shí)別的研究相對(duì)于英文來說,有著很多的不同和困難。中文文字之間沒有空隙,名實(shí)體識(shí)別之前需要先進(jìn)行分詞;中文的字沒有詞形的特征,詞的信息太少;構(gòu)詞方式復(fù)雜,命名不規(guī)范;并且詞

2、匯量巨大,不斷有新的名實(shí)體產(chǎn)生。這些問題都導(dǎo)致現(xiàn)階段中文名實(shí)體識(shí)別的效果不是很理想。
　　本文基于最大熵模型的基礎(chǔ)上，提出了兩種序列標(biāo)注的解析方法:tagbeam和listbeam方法。兩種方法通過在解析過程中保存較優(yōu)的k個(gè)結(jié)果,從而能夠有效地避免在viterbi方法中最優(yōu)結(jié)果可能過早的被丟掉的問題,可以有效地提高了系統(tǒng)的性能。
　　文章針對(duì)中文名實(shí)體詞匯量巨大的問題,從人民日?qǐng)?bào)、新華日?qǐng)?bào)、和新聞網(wǎng)站上收集了大量的人名、地點(diǎn)

3、名和組織機(jī)構(gòu)名,組成詞典。從而在訓(xùn)練最大熵模型時(shí),構(gòu)建了許多基于詞典的特征,包括名實(shí)體特征,前后綴特征和組合特征。然后,系統(tǒng)通過一個(gè)特征遞增選擇算法,在SIGHAN中文名實(shí)體語料上進(jìn)行了大量實(shí)驗(yàn),取得了較好的效果。
　　針對(duì)單個(gè)分類器模型的不足,文章采用了兩種疊加方法來集成多個(gè)最大熵分類器:基于乘法規(guī)則的融合方法和基于最大熵模型的疊加序列標(biāo)注方法。實(shí)驗(yàn)對(duì)比表明,基于最大熵模型的疊加序列標(biāo)注方法有效的提高了識(shí)別的效果。
　　最