基于概率上下文無關語法的句法分析研究與實現(xiàn).pdf

1、本文論述了基于概率的上下文無關語法的句法分析的原理及實現(xiàn)過程.本文首先回顧了自然語言的發(fā)展歷史和應用范圍,同時介紹了句法分析在自然語言中的重要的地位和本文的主要工作.然后介紹了句法分析的常用的分析方法,并對本文的基于概率的上下文無關語法的句法分析器所采用線圖分析法作了重點介紹,分析了這種方法的原理以及優(yōu)點.本文的句法分析器是基于概率上下文無關語法的,這種方法是統(tǒng)計分析模型中比較成功的一種模式.在本文的第三章詳細介紹了PCFG的排除句子歧

2、義的原理,并用具體實例加以闡述.基于概率的分析,當然最重要的就是概率的提取問題,在本文的第四章給出了提取概率的詳細算法及實例,解決了基于概率上下文無關語法的三個重要問題.即采用向內向外算法,在給定一部概率上下文無關語法的前提下,計算句子的概率;采用Viterbi算法,在給定一部概率上下文無關語法以及句子前提下,找出最為可能的分析樹.采用向內-向外算法,為語法規(guī)則選擇概率,使得訓練句子的概率最大.在對真實的句子進行句法分析的時候會遇到很多

3、問題.本文在第五章,針對一些具體問題提出了一些解決方案,取得了一定的成效.主要有以下幾個方面.1)根據(jù)漢語,既缺乏形態(tài)變化,又缺乏作為句法標志的黏著成分的外在特征,本文采用了短語本位的思想.2)針對漢語的具體特點,在本文中設計了預處理系統(tǒng),系統(tǒng)利用特征詞在對句子進行綜合分析之前預測句子的句法結構,換句話說,預處理實際上是部分句法分析,它起著導引綜合分析的作用,避免了不必要的計算.3)在本文中針對基于統(tǒng)計句法分析中數(shù)據(jù)稀疏問題,采取了數(shù)據(jù)