高性能漢語(yǔ)依存句法分析方法的研究.pdf

1、依存句法分析解析句子的句法結(jié)構(gòu)，為其建立與依存語(yǔ)法相符的依存句法樹(shù)，是自然語(yǔ)言處理的關(guān)鍵技術(shù)之一。依存句法分析因其詞語(yǔ)之間的修飾關(guān)系，被廣泛應(yīng)用在語(yǔ)義角色標(biāo)注和機(jī)器翻譯等任務(wù)中，成為這些任務(wù)的前端處理。
　　漢語(yǔ)依存句法分析的性能受限于人工標(biāo)注樹(shù)庫(kù)的規(guī)模和質(zhì)量，目前幾乎沒(méi)有大規(guī)模漢語(yǔ)依存樹(shù)庫(kù)，而大規(guī)模生語(yǔ)料相對(duì)容易獲得，研究人員提出了使用大規(guī)模生語(yǔ)料改進(jìn)依存句法分析精度的模型訓(xùn)練方法。但是該方法的主要問(wèn)題是自動(dòng)句法分析中的錯(cuò)誤結(jié)果

2、引入了大量噪音。另一方面，經(jīng)過(guò)對(duì)漢語(yǔ)依存句法分析中常見(jiàn)錯(cuò)誤類(lèi)型的分析，我們發(fā)現(xiàn)主要是動(dòng)詞與其他詞之間的依存關(guān)系錯(cuò)誤。針對(duì)上述兩個(gè)問(wèn)題，本文在改進(jìn)漢語(yǔ)依存句法分析精度方面，完成了以下工作:
　　(1)提出短句優(yōu)先的迭代式訓(xùn)練漢語(yǔ)依存句法分析模型的無(wú)監(jiān)督學(xué)習(xí)方法?？紤]到自動(dòng)句法分析中噪音的大小與句子的復(fù)雜度相關(guān)，本文提出按照句子長(zhǎng)短劃分生語(yǔ)料，迭代式地訓(xùn)練模型，短句子訓(xùn)練的模型將在下一步迭代中作為分析器分析長(zhǎng)句子。本文采用分詞、詞性標(biāo)

3、注與依存句法分析三個(gè)任務(wù)的聯(lián)合模型，聯(lián)合模型使各任務(wù)之間互相制約、互相促進(jìn)。同時(shí)，在每次迭代中，三個(gè)任務(wù)在短句上均有較好精度，從而帶來(lái)整體模型精度的提升。本文在賓州中文樹(shù)庫(kù)上驗(yàn)證了該方法，三次迭代的實(shí)驗(yàn)結(jié)果表明，每次迭代都會(huì)在三個(gè)任務(wù)的精度上有所提高，依存句法分析精度比傳統(tǒng)不加區(qū)分使用生語(yǔ)料的方法提高0.33％。
　　(2)探索基于大規(guī)模自動(dòng)構(gòu)建格庫(kù)的漢語(yǔ)依存句法分析方法。格庫(kù)描述句子中謂語(yǔ)動(dòng)詞和其它成分之間的修飾關(guān)系，而漢語(yǔ)依存

4、句法分析中的主要錯(cuò)誤與動(dòng)詞相關(guān)，漢語(yǔ)格庫(kù)可以針對(duì)性的解決漢語(yǔ)依存句法分析中的主要錯(cuò)誤。鑒于格庫(kù)的重要性以及目前沒(méi)有漢語(yǔ)格庫(kù)的現(xiàn)狀，本文提出利用日中詞典、繁簡(jiǎn)詞典等資源借助機(jī)器翻譯翻譯日語(yǔ)格庫(kù)構(gòu)建漢語(yǔ)格庫(kù)的方法。由于翻譯結(jié)果存在一對(duì)多的現(xiàn)象，本文提出基于單語(yǔ)語(yǔ)料庫(kù)的語(yǔ)言模型的過(guò)濾方法，借助相似度算法選取最佳譯語(yǔ)。實(shí)驗(yàn)結(jié)果顯示，可翻譯的日語(yǔ)動(dòng)詞有25，285個(gè)，可翻譯的日語(yǔ)名詞有124，781個(gè)，平均每個(gè)動(dòng)詞有25.3個(gè)名詞與之有修飾關(guān)系。