現(xiàn)代漢語(yǔ)連詞用法的自動(dòng)識(shí)別及應(yīng)用研究.pdf

1、連詞是虛詞的一種,在現(xiàn)代漢語(yǔ)中,它承擔(dān)著極為繁重的語(yǔ)法表現(xiàn)任務(wù),對(duì)于漢語(yǔ)的語(yǔ)法分析和語(yǔ)義理解有著至關(guān)重要的作用。相同的連詞在不同的上下文語(yǔ)境中可能表示不同的含義,具有不同的用法。因此,必須對(duì)文本中連詞的用法進(jìn)行全面細(xì)致的考察研究,人工總結(jié)或者機(jī)器學(xué)習(xí)其中的規(guī)律并進(jìn)行形式化描述,從而實(shí)現(xiàn)連詞用法的一定程度的自動(dòng)識(shí)別,這將有助于中文文本的機(jī)器辨析和自動(dòng)理解。
　　 現(xiàn)代漢語(yǔ)連詞用法自動(dòng)識(shí)別是面向自然語(yǔ)言處理的現(xiàn)代漢語(yǔ)虛詞知識(shí)庫(kù)研究的

2、重要內(nèi)容之一。本文根據(jù)俞士汶等提出的構(gòu)建“三位一體”的現(xiàn)代漢語(yǔ)虛詞知識(shí)庫(kù)的思想,完善了包括現(xiàn)代漢語(yǔ)連詞用法詞典、連詞用法規(guī)則庫(kù)和連詞用法語(yǔ)料庫(kù)在內(nèi)的現(xiàn)代漢語(yǔ)連詞用法知識(shí)庫(kù)。在連詞用法知識(shí)庫(kù)的基礎(chǔ)上,分別研究了基于規(guī)則和基于統(tǒng)計(jì)的現(xiàn)代漢語(yǔ)連詞用法自動(dòng)識(shí)別。基于規(guī)則的方法簡(jiǎn)單易懂,但是不能通過(guò)機(jī)器學(xué)習(xí)的方法自動(dòng)地獲得知識(shí)?；诮y(tǒng)計(jì)的方法可以從訓(xùn)練數(shù)據(jù)中自動(dòng)地或半自動(dòng)地獲取語(yǔ)言知識(shí),但是對(duì)于單用法或用法分布稀疏的連詞的用法識(shí)別效果不好。根據(jù)規(guī)

3、則方法和統(tǒng)計(jì)方法的優(yōu)缺點(diǎn),本文結(jié)合用法分布率、規(guī)則準(zhǔn)確率和統(tǒng)計(jì)準(zhǔn)確率初步嘗試了五種規(guī)則與統(tǒng)計(jì)相結(jié)合的方法進(jìn)行連詞用法自動(dòng)識(shí)別。實(shí)驗(yàn)結(jié)果表明,這些規(guī)則與統(tǒng)計(jì)相結(jié)合的方法的識(shí)別效果要高于單一方法的識(shí)別效果。
　　 在連詞用法自動(dòng)識(shí)別的基礎(chǔ)上,本文研究了連詞用法的一個(gè)應(yīng)用:連詞結(jié)構(gòu)短語(yǔ)識(shí)別,期望能為機(jī)器翻譯提供更好的預(yù)處理知識(shí),從而提高機(jī)器翻譯的質(zhì)量。首先人工標(biāo)注出已標(biāo)注過(guò)用法的語(yǔ)料中的連詞結(jié)構(gòu)短語(yǔ),并總結(jié)出規(guī)律,構(gòu)建連詞結(jié)構(gòu)短語(yǔ)識(shí)別