高性能漢語依存句法分析方法的研究.pdf

1、依存句法分析解析句子的句法結(jié)構(gòu)，為其建立與依存語法相符的依存句法樹，是自然語言處理的關(guān)鍵技術(shù)之一。依存句法分析因其詞語之間的修飾關(guān)系，被廣泛應(yīng)用在語義角色標(biāo)注和機(jī)器翻譯等任務(wù)中，成為這些任務(wù)的前端處理。
　　漢語依存句法分析的性能受限于人工標(biāo)注樹庫的規(guī)模和質(zhì)量，目前幾乎沒有大規(guī)模漢語依存樹庫，而大規(guī)模生語料相對(duì)容易獲得，研究人員提出了使用大規(guī)模生語料改進(jìn)依存句法分析精度的模型訓(xùn)練方法。但是該方法的主要問題是自動(dòng)句法分析中的錯(cuò)誤結(jié)果

2、引入了大量噪音。另一方面，經(jīng)過對(duì)漢語依存句法分析中常見錯(cuò)誤類型的分析，我們發(fā)現(xiàn)主要是動(dòng)詞與其他詞之間的依存關(guān)系錯(cuò)誤。針對(duì)上述兩個(gè)問題，本文在改進(jìn)漢語依存句法分析精度方面，完成了以下工作:
　　(1)提出短句優(yōu)先的迭代式訓(xùn)練漢語依存句法分析模型的無監(jiān)督學(xué)習(xí)方法。考慮到自動(dòng)句法分析中噪音的大小與句子的復(fù)雜度相關(guān)，本文提出按照句子長(zhǎng)短劃分生語料，迭代式地訓(xùn)練模型，短句子訓(xùn)練的模型將在下一步迭代中作為分析器分析長(zhǎng)句子。本文采用分詞、詞性標(biāo)

3、注與依存句法分析三個(gè)任務(wù)的聯(lián)合模型，聯(lián)合模型使各任務(wù)之間互相制約、互相促進(jìn)。同時(shí)，在每次迭代中，三個(gè)任務(wù)在短句上均有較好精度，從而帶來整體模型精度的提升。本文在賓州中文樹庫上驗(yàn)證了該方法，三次迭代的實(shí)驗(yàn)結(jié)果表明，每次迭代都會(huì)在三個(gè)任務(wù)的精度上有所提高，依存句法分析精度比傳統(tǒng)不加區(qū)分使用生語料的方法提高0.33％。
　　(2)探索基于大規(guī)模自動(dòng)構(gòu)建格庫的漢語依存句法分析方法。格庫描述句子中謂語動(dòng)詞和其它成分之間的修飾關(guān)系，而漢語依存

4、句法分析中的主要錯(cuò)誤與動(dòng)詞相關(guān)，漢語格庫可以針對(duì)性的解決漢語依存句法分析中的主要錯(cuò)誤。鑒于格庫的重要性以及目前沒有漢語格庫的現(xiàn)狀，本文提出利用日中詞典、繁簡(jiǎn)詞典等資源借助機(jī)器翻譯翻譯日語格庫構(gòu)建漢語格庫的方法。由于翻譯結(jié)果存在一對(duì)多的現(xiàn)象，本文提出基于單語語料庫的語言模型的過濾方法，借助相似度算法選取最佳譯語。實(shí)驗(yàn)結(jié)果顯示，可翻譯的日語動(dòng)詞有25，285個(gè)，可翻譯的日語名詞有124，781個(gè)，平均每個(gè)動(dòng)詞有25.3個(gè)名詞與之有修飾關(guān)系。