基于詞匯化統(tǒng)計(jì)模型的漢語(yǔ)句法分析研究.pdf

1、句法分析是自然語(yǔ)言處理的一個(gè)基本問(wèn)題。許多自然語(yǔ)言處理任務(wù)，如機(jī)器翻譯、信息獲取、自動(dòng)文摘等都要依賴句法分析的精確結(jié)果才能最終獲得滿意的解決。另一方面，語(yǔ)言是思維的載體，對(duì)自然語(yǔ)言句法分析的研究有助于研究人類思維的本質(zhì)，因此對(duì)自然語(yǔ)言句法分析的研究具有重要的理論和實(shí)用價(jià)值及深刻的哲學(xué)意義。
　　總體上來(lái)看，由于起步較晚、樹庫(kù)資源缺乏等原因，漢語(yǔ)句法分析技術(shù)不如英語(yǔ)句法分析技術(shù)發(fā)展的迅速。目前的漢語(yǔ)句法分析技術(shù)還滿足不了各種中文信息

2、處理系統(tǒng)的要求，所以對(duì)漢語(yǔ)句法分析的研究既意義重大又任重道遠(yuǎn)。目前的主流技術(shù)還是基于統(tǒng)計(jì)的方法，本文主要研究統(tǒng)計(jì)框架下漢語(yǔ)句法分析問(wèn)題。本文工作分四個(gè)部分進(jìn)行，具體內(nèi)容如下：
　　1、對(duì)句子進(jìn)行詞性標(biāo)注是句法分析的一個(gè)重要環(huán)節(jié)。本文提出一種基于二元同現(xiàn)的漢語(yǔ)詞性標(biāo)注模型。在隱馬爾可夫模型的基礎(chǔ)上，引入二元詞匯信息來(lái)加強(qiáng)詞性標(biāo)注模型的歧義消解能力。該方法具有簡(jiǎn)單、快速、有效的特點(diǎn)。
　　2、統(tǒng)計(jì)句法分析的基本理論是構(gòu)建基于統(tǒng)計(jì)

3、句法分析模型的基礎(chǔ)，已有的典型句法分析模型是漢語(yǔ)句法分析建模的經(jīng)驗(yàn)來(lái)源和參照目標(biāo)。本文率先在賓州中文樹庫(kù)5.0上應(yīng)用中心驅(qū)動(dòng)模型進(jìn)行漢語(yǔ)句法分析實(shí)驗(yàn)，取得了比較成功的效果，驗(yàn)證了應(yīng)用詞匯化統(tǒng)計(jì)模型進(jìn)行漢語(yǔ)句法分析的可行性。
　　3、提出了一個(gè)兩級(jí)中文句法分析方法。根據(jù)我們定義的30種短語(yǔ)類型，提出了一個(gè)分治策略：即把所有的短語(yǔ)分為基本短語(yǔ)和復(fù)雜短語(yǔ)，針對(duì)兩種短語(yǔ)的語(yǔ)言特點(diǎn)，采用不同的模型來(lái)識(shí)別它們。首先，把基本短語(yǔ)識(shí)別轉(zhuǎn)化為最佳邊

4、界標(biāo)記序列的搜索問(wèn)題，提出一個(gè)基于馬爾可夫模型的基本短語(yǔ)識(shí)別方法。在此基礎(chǔ)上，識(shí)別漢語(yǔ)復(fù)雜短語(yǔ)。實(shí)驗(yàn)結(jié)果表明，兩級(jí)中文句法分析方法一方面可以顯著提高句法分析系統(tǒng)的精確率和召回率，另一方面還有效降低了句法分析的復(fù)雜度，使系統(tǒng)處理文本的速度得到了提高。
　　4、提出了一種基于語(yǔ)義類的漢語(yǔ)句法分析方法。該方法以中心驅(qū)動(dòng)模型為基礎(chǔ)，把自動(dòng)獲取的語(yǔ)義類融入到句法分析模型中，為消解句法歧義提供語(yǔ)義類信息。利用一部語(yǔ)義詞典，應(yīng)用最小描述長(zhǎng)度原理