基于CVG模型的中文短語(yǔ)結(jié)構(gòu)句法分析研究.pdf

1、句法分析的基本任務(wù)是確定句子的句法結(jié)構(gòu)，由于語(yǔ)言的復(fù)雜性，句法結(jié)構(gòu)往往有歧義的存在，需要引入大量信息來(lái)減少歧義，提高句法分析結(jié)果。句法分析一般分為短語(yǔ)結(jié)構(gòu)句法分析和依存句法分析，本文主要研究的是短語(yǔ)結(jié)構(gòu)句法分析。CVG(Compositional Vector Grammars)模型能夠很好的捕捉句法分析所需信息，本文將對(duì)CVG模型進(jìn)行深入研究，并對(duì)基于CVG模型的句法分析器進(jìn)行改進(jìn)，使其能在中文句法分析上有更好的性能表現(xiàn)。CVG模型將

2、 PCFG（Probabilistic Context Free Grammars）和SU-RNN（Syntactically Untied Recursive Neural Networks）相結(jié)合，利用PCFG模型預(yù)測(cè)結(jié)構(gòu)，生成候選樹(shù)，利用SU-RNN捕獲短語(yǔ)和詞匯的細(xì)粒度語(yǔ)法和組合語(yǔ)義的信息，并利用這些信息對(duì)生成的句法樹(shù)進(jìn)行重新計(jì)算得分，進(jìn)行重新排序。
　　本研究主要內(nèi)容包括：⑴利用CVG對(duì)中文進(jìn)行句法分析，首先對(duì)CVG模型

3、進(jìn)及其關(guān)鍵技術(shù)進(jìn)行了介紹，并使用Stanford Parser在CTB8.0( Chinese Treebank8.0)上訓(xùn)練出一個(gè)PCFG模型作為基準(zhǔn)模型，在此基礎(chǔ)上，又訓(xùn)練出一個(gè)CVG模型，給出其在中文句法分析上的性能表現(xiàn)，及和PCFG模型的性能對(duì)比。⑵CVG模型中存在著一些問(wèn)題，針對(duì)這些問(wèn)題本文給出了改進(jìn)措施：對(duì)于一詞多義，通過(guò)融入詞性信息，將<詞，詞性>作為一個(gè)整體進(jìn)行訓(xùn)練，來(lái)解決多義詞問(wèn)題對(duì)于未登陸詞問(wèn)題，將其分成兩類(lèi)，針對(duì)每

4、類(lèi)提出了不同的解決辦法，第一類(lèi)是語(yǔ)料中不存在的詞，對(duì)于這種未登陸詞可以用結(jié)構(gòu)向量進(jìn)行替代，第二類(lèi)是語(yǔ)料中存在這個(gè)詞，不過(guò)不存在其對(duì)應(yīng)的詞性，則先用結(jié)構(gòu)向量替代，并對(duì)詞性的父結(jié)點(diǎn)所在的子樹(shù)的得分進(jìn)行懲罰，如果還沒(méi)有找到對(duì)應(yīng)向量，則用零向量替代對(duì)于因?yàn)闃?shù)的二叉化所引起的新生結(jié)點(diǎn)和原結(jié)點(diǎn)難以區(qū)分所導(dǎo)致的父結(jié)點(diǎn)向量表示不確切的問(wèn)題，提出了對(duì)新生結(jié)點(diǎn)類(lèi)型臨時(shí)增加標(biāo)記位的解決辦法對(duì)于CVG模型中結(jié)點(diǎn)得分計(jì)算存在冗余的問(wèn)題，提出將得分函數(shù)中的參數(shù)依賴(lài)