漢語(yǔ)依存句法分析方法的研究與實(shí)現(xiàn).pdf

1、句法分析是自然語(yǔ)言處理研究中的關(guān)鍵技術(shù)之一,其任務(wù)是根據(jù)給定的語(yǔ)法,自動(dòng)推導(dǎo)出句子的語(yǔ)法結(jié)構(gòu)。它對(duì)于機(jī)器翻譯、信息檢索、信息抽取、文本分類和自動(dòng)文摘等自然語(yǔ)言處理系統(tǒng)都有著極其重要的意義。
　　 句法分析是依賴于某種語(yǔ)法理論的,在形式語(yǔ)法體系中,依存語(yǔ)法逐漸成為研究人員重視的熱點(diǎn)。依存句法分析技術(shù)也不斷得到發(fā)展和完善,并在英語(yǔ)等印歐語(yǔ)言中取得較好的研究成果。但目前為止針對(duì)漢語(yǔ)在依存句法分析方面的相關(guān)研究并不多見,漢語(yǔ)的依存分析研

2、究成果與比印歐語(yǔ)言遜色得多。為此,本文采用基于統(tǒng)計(jì)理論的學(xué)習(xí)方法,針對(duì)漢語(yǔ)特有的語(yǔ)法特點(diǎn),對(duì)漢語(yǔ)的依存句法分析方法進(jìn)行了研究和探索。本文主要采用決策式的依存句法分析方法,解決了漢語(yǔ)句法分析中存在的一些問題。本文工作的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下:
　　 1.提出并實(shí)現(xiàn)了一種針對(duì)漢語(yǔ)長(zhǎng)句的決策式分析方法CLDP。該方法針對(duì)漢語(yǔ)復(fù)雜長(zhǎng)句句法分析存在的困難,考慮一種“分而治之”的處理策略,采用分層分析的方法,把復(fù)雜的句法分析問題分解為幾個(gè)易于

3、處理的子問題,以降低分析難度,提高分析效率。本文提出并實(shí)現(xiàn)了非貪婪的考慮長(zhǎng)距離依存的決策式漢語(yǔ)分析方法N-CLDP。該方法利用漢語(yǔ)句子中根的唯一性對(duì)長(zhǎng)句進(jìn)行了分割。實(shí)現(xiàn)時(shí),利用機(jī)器學(xué)習(xí)方法SVM設(shè)計(jì)了一種高效的根搜索器Root-Searcher,該根搜索器Root-Searcher可以標(biāo)記出每個(gè)句子的根結(jié)點(diǎn),依據(jù)根結(jié)點(diǎn),句子被分割成兩個(gè)子句。對(duì)子句分別進(jìn)行依存分析后,進(jìn)行子句的連接。把兩個(gè)子句的根結(jié)點(diǎn)合二為一,合并兩個(gè)子依存結(jié)構(gòu),從而得

4、到長(zhǎng)句的完整的依存結(jié)構(gòu)。實(shí)驗(yàn)數(shù)據(jù)表明,本文構(gòu)造的根搜索器Root-Searcher具有較高的準(zhǔn)確性。在長(zhǎng)句占的比例較大的訓(xùn)練集和測(cè)試集上,本文的方法達(dá)到了較好的分析性能,有效降低了句子的復(fù)雜度,顯著地提高了句法分析器的準(zhǔn)確率。
　　 2.提出并實(shí)現(xiàn)了一種基于二段式的子句依存分析方法TSP。本文針對(duì)決策式依存分析中存在的Early-reduce問題,設(shè)計(jì)并實(shí)現(xiàn)了二段式的子句依存分析方法。該方法采用了有效的特征組合,利用二段分析,特

5、征復(fù)用等手段有效解決了漢語(yǔ)右依存中動(dòng)詞與動(dòng)詞之間,以及動(dòng)詞與介詞之間的VP Early-reduce問題,并且降低了算法的貪婪性。另外,本文提出并實(shí)現(xiàn)了子句的雙向分析策略BSP。根據(jù)分割后句子的特點(diǎn),以及漢語(yǔ)語(yǔ)言所具有的投影性特征,提出了采用向前分析和向后分析相結(jié)合的策略。在分析時(shí)將從前向后與從后向前兩種分析方向結(jié)合使用。實(shí)驗(yàn)中將二段式句法分析策略與一次分析進(jìn)行了性能比較,并考察了句法分析方向?qū)τ诜治鼋Y(jié)果的影響。實(shí)驗(yàn)結(jié)果表明本文的二段式

6、的子句依存分析方法TSP提高了句法分析器的性能。子句的雙向分析策略BSP也比單向分析獲得了更好的分析效率。
　　 3.提出并實(shí)現(xiàn)了一種基于介詞短語(yǔ)右邊界的自動(dòng)識(shí)別的依存句法分析算法RPP。根據(jù)介詞短語(yǔ)的語(yǔ)用特征,提出一種對(duì)介詞短語(yǔ)的后續(xù)詞進(jìn)行分析的方法,相應(yīng)得到介詞短語(yǔ)右邊界的識(shí)別方法。通對(duì)過介詞短語(yǔ)的分析,有效解決了決策式分析方法在分析介詞短語(yǔ)時(shí)存在的缺陷。避免了分析介詞在長(zhǎng)距離依存時(shí),由于過早比較、提前決策依存關(guān)系出現(xiàn)的錯(cuò)誤