基于動(dòng)態(tài)貝葉斯網(wǎng)的中文專(zhuān)有名詞識(shí)別.pdf

1、專(zhuān)有名詞的識(shí)別是中文信息處理領(lǐng)域的重要研究課題之一，目前尚未得到很好的解決。在大規(guī)模真實(shí)文本為基礎(chǔ)的語(yǔ)料庫(kù)研究的重要性日益突顯的情況下，如何提高大規(guī)模語(yǔ)料庫(kù)的質(zhì)量成為關(guān)鍵，而專(zhuān)有名詞的識(shí)別質(zhì)量是影響語(yǔ)料庫(kù)加工質(zhì)量的一個(gè)重要因素，專(zhuān)有名詞識(shí)別的自動(dòng)化也能提高大規(guī)模語(yǔ)料庫(kù)加工效率。此外，在信息抽取、問(wèn)答系統(tǒng)、術(shù)語(yǔ)學(xué)研究等各個(gè)研究領(lǐng)域應(yīng)用領(lǐng)域，專(zhuān)有名詞的識(shí)別也是其基礎(chǔ)性步驟。 本文針對(duì)真實(shí)中文文本中較為頻繁出現(xiàn)的人名、地理政治地名還有

2、組織機(jī)構(gòu)名三類(lèi)專(zhuān)有名詞，提出了一種基于動(dòng)態(tài)貝葉斯網(wǎng)模型的專(zhuān)有名詞自動(dòng)識(shí)別方法，該方法把文本中的局部特征、全局特征及語(yǔ)言學(xué)經(jīng)驗(yàn)知識(shí)融入一個(gè)極具表達(dá)和推導(dǎo)能力的隨機(jī)概率模型中，可以很好地識(shí)別專(zhuān)有名詞。研究?jī)?nèi)容主要包括以下幾個(gè)方面： 1.對(duì)專(zhuān)有名詞的分類(lèi)做了較好的研究，分析它們?cè)趩尉渲械木植刻卣?，在此基礎(chǔ)上，建立了專(zhuān)有名詞的局部特征變量之間的相互依賴關(guān)系。 2.研究了專(zhuān)有名詞在真實(shí)中文文本的互指等語(yǔ)篇信息，利用有效的互指消解規(guī)

3、則，解決了專(zhuān)有名詞名義性互指等問(wèn)題，把全局信息融入系統(tǒng)，保證了有效地識(shí)別專(zhuān)有名詞。 3.采用了基準(zhǔn)模型與動(dòng)態(tài)貝葉斯網(wǎng)模型相結(jié)合的方法，取長(zhǎng)補(bǔ)短，充分利用了兩種模型的各自優(yōu)點(diǎn)，既保證了識(shí)別系統(tǒng)的效率，也保證了識(shí)別結(jié)果的準(zhǔn)確率。 4.為了提高專(zhuān)有名詞識(shí)別效果，我們考慮了自然語(yǔ)言文本中的局部信息，此外更主要的是考察其語(yǔ)篇信息，并且針對(duì)中文文本中人名、組織機(jī)構(gòu)名及地理政治名的識(shí)別，構(gòu)建專(zhuān)有名詞識(shí)別動(dòng)態(tài)貝葉斯模型(DBNS)。我們

4、把“是否某類(lèi)專(zhuān)有名詞”作為分詞后中文文本的每個(gè)詞的屬性之一，從而把專(zhuān)有名詞識(shí)別問(wèn)題轉(zhuǎn)換成一個(gè)分類(lèi)問(wèn)題。特別是考慮了正在識(shí)別的詞與已經(jīng)識(shí)別為某類(lèi)專(zhuān)有名詞的前一個(gè)詞之間的一種聯(lián)系等語(yǔ)篇信息，綜合利用了隨機(jī)模型和基于特征推理方法的優(yōu)點(diǎn)。 我們選用山西大學(xué)中文評(píng)測(cè)語(yǔ)料中共230篇作為實(shí)驗(yàn)材料，隨機(jī)抽取其中180篇用于訓(xùn)練動(dòng)態(tài)貝葉斯模型參數(shù)，剩余的50篇用于測(cè)試，然后同Nymble模型單獨(dú)識(shí)別的結(jié)果比較，我們把動(dòng)態(tài)貝葉斯模型作為Nymbl