古漢語編年體的人名實(shí)體識別與詞性標(biāo)注.pdf

1、自然語言處理是人工智能中的重要領(lǐng)域，不但能夠幫助人們從龐大的語言數(shù)據(jù)中提取出需要的信息，甚至能夠理解語法語義并對其做出合理的應(yīng)答。隨著近十年來現(xiàn)代漢語的語言處理研究逐步進(jìn)展，研究者們已經(jīng)逐漸能夠從現(xiàn)代漢語中抽提出有效的實(shí)體信息并進(jìn)行簡單的語法解析。然而古漢語作為中國的傳統(tǒng)語言，同樣有著智能處理的需要，古漢語文獻(xiàn)中蘊(yùn)藏著大量的歷史資料需要被結(jié)構(gòu)化的整理出來。本文以編年體《明史本紀(jì)》為范例，首次制作了詳細(xì)詞性標(biāo)注的古漢語語料，并分別從基于統(tǒng)

2、計(jì)與基于規(guī)則的角度嘗試對其進(jìn)行名詞實(shí)體識別與詞性標(biāo)注實(shí)驗(yàn)。首先使用了在現(xiàn)代漢語中效率最高的序列模型條件隨機(jī)場作為統(tǒng)計(jì)模型，并且根據(jù)古漢語的詞法特征設(shè)計(jì)了多套標(biāo)簽?zāi)０逡约皥D模型對語料分別進(jìn)行了實(shí)體識別與詞性標(biāo)注實(shí)驗(yàn)。在實(shí)驗(yàn)中大部分詞性的判斷有著良好的結(jié)果，而且詞性的標(biāo)注對實(shí)體識別的效率有著很好的幫助。從實(shí)驗(yàn)結(jié)果中，還發(fā)現(xiàn)了未登錄人名的判斷效率要明顯高于其他未登錄詞，從而暗示著編年體人名周圍有著很強(qiáng)的規(guī)則。隨后使用了基于規(guī)則的方法嘗試對相同

3、的語料進(jìn)行人名識別。通過觀察，發(fā)現(xiàn)了編年體裁中人物與官職的關(guān)聯(lián)，并設(shè)計(jì)了所有含有官職與姓名的句式規(guī)則。通過這些規(guī)則實(shí)現(xiàn)的算法在測試結(jié)果中有著良好的表現(xiàn)，最后分析了漏檢與錯判的姓名的原因和規(guī)則中的不足。詞性標(biāo)注實(shí)驗(yàn)結(jié)果表明古漢語的信息處理不需要進(jìn)行分詞就可以達(dá)到較好的效果，但語料庫與專有名詞庫的完整性對結(jié)果有著重要的影響。而人名識別的實(shí)驗(yàn)反映出編年體中的人名句式十分規(guī)則，能夠精確的提取出絕大多數(shù)姓名，但對于其他體裁的處理則需要更深入的研究