漢語虛詞用法在短語句法分析中的應(yīng)用研究.pdf

1、句法分析是自然語言處理的基本任務(wù)之一，是語義理解、問答系統(tǒng)等自然語言理解任務(wù)實(shí)現(xiàn)的基礎(chǔ)。本文根據(jù)已有的現(xiàn)代漢語虛詞用法知識庫，初步探討了基于漢語虛詞用法的短語邊界識別在句法分析中的應(yīng)用，將虛詞用法應(yīng)用于不同短語邊界識別方法；在此基礎(chǔ)上進(jìn)一步提出了基于短語邊界的句法分析模型Phrase_Based Parser。在CTB8.0數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明Phrase_Based Parser能夠改正因某些短語邊界錯(cuò)誤而導(dǎo)致的錯(cuò)誤句法樹，平均準(zhǔn)確

2、率提升了6.9％。本文的主要研究工作如下：
　　1）根據(jù)現(xiàn)代漢語虛詞用法知識庫對 CTB8.0（Chinese Treebank8.0）中的虛詞分布進(jìn)行了統(tǒng)計(jì)分析，統(tǒng)計(jì)顯示在 CTB8.0的全部詞中虛詞占有很重要的比例。利用CRF模型對CTB8.0中的虛詞用法進(jìn)行自動識別標(biāo)注。使用Berkeley Parser對 CTB8.0的原語料進(jìn)行句法分析，對得到的句法樹進(jìn)行錯(cuò)誤分析，發(fā)現(xiàn)包含虛詞成分的短語邊界平均錯(cuò)誤率達(dá)40.76%，可見

3、短語邊界的正確性將會影響句法分析的準(zhǔn)確率。
　　2）構(gòu)建基于CTB8.0的語料庫。本文構(gòu)建了基于CTB8.0的標(biāo)準(zhǔn)短語邊界標(biāo)注語料庫，設(shè)計(jì)了一組短語標(biāo)記符號，并構(gòu)建了基于CTB8.0的短語標(biāo)記樹庫。
　　3）研究基于虛詞用法的規(guī)則和統(tǒng)計(jì)模型在介詞短語、連詞相關(guān)短語以及包含助詞“的”的短語邊界識別中的應(yīng)用，實(shí)驗(yàn)結(jié)果表明，基于規(guī)則的短語邊界識別結(jié)果平均準(zhǔn)確率達(dá)到47.06%；基于CRF模型的短語邊界識別結(jié)果平均準(zhǔn)確率達(dá)到了73.

4、69%，基于CNN模型的短語邊界識別結(jié)果平均準(zhǔn)確達(dá)到了75.54%。
　　4）提出了一個(gè)基于短語邊界的句法分析模型Phrase_Based Parser，在CTB8.0的數(shù)據(jù)集上的實(shí)驗(yàn)表明，對包含介詞短語的句子，Phrase_Base Parser的句法分析結(jié)果比Berkeley Parser的結(jié)果F值提高了2.72%，對包含連詞相關(guān)短語的句子Phrase_Base Parser的句法分析結(jié)果比Berkeley Parser的結(jié)果