基于最大熵模型的中文命名實體識別研究及系統(tǒng)實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的急劇發(fā)展,網(wǎng)絡(luò)信息和數(shù)據(jù)在不斷的增加,人們對信息的需求也越來越大。因此,如何從互聯(lián)網(wǎng)中快速有效的獲取人們想要的信息成為了關(guān)鍵問題。命名實體識別是信息抽取技術(shù)的基礎(chǔ),對信息檢索、搜索引擎、問答系統(tǒng)和機器翻譯的研究和應(yīng)用都能起到促進作用。
　　中文命名實體識別的研究相對于英文來說,有著很多的不同和困難。中文文字之間沒有空隙,名實體識別之前需要先進行分詞;中文的字沒有詞形的特征,詞的信息太少;構(gòu)詞方式復(fù)雜,命名不規(guī)范;并且詞

2、匯量巨大,不斷有新的名實體產(chǎn)生。這些問題都導(dǎo)致現(xiàn)階段中文名實體識別的效果不是很理想。
　　本文基于最大熵模型的基礎(chǔ)上，提出了兩種序列標(biāo)注的解析方法:tagbeam和listbeam方法。兩種方法通過在解析過程中保存較優(yōu)的k個結(jié)果,從而能夠有效地避免在viterbi方法中最優(yōu)結(jié)果可能過早的被丟掉的問題,可以有效地提高了系統(tǒng)的性能。
　　文章針對中文名實體詞匯量巨大的問題,從人民日報、新華日報、和新聞網(wǎng)站上收集了大量的人名、地點

3、名和組織機構(gòu)名,組成詞典。從而在訓(xùn)練最大熵模型時,構(gòu)建了許多基于詞典的特征,包括名實體特征,前后綴特征和組合特征。然后,系統(tǒng)通過一個特征遞增選擇算法,在SIGHAN中文名實體語料上進行了大量實驗,取得了較好的效果。
　　針對單個分類器模型的不足,文章采用了兩種疊加方法來集成多個最大熵分類器:基于乘法規(guī)則的融合方法和基于最大熵模型的疊加序列標(biāo)注方法。實驗對比表明,基于最大熵模型的疊加序列標(biāo)注方法有效的提高了識別的效果。
　　最