基于雙向搜索的ILP算法構建漢語語義自動切分系統(tǒng).pdf

1、自然語言理解主要有兩種途徑。一種是利用各種語言規(guī)則對自然語句進行分析，得到句中各組成成分間的關系結構。另一種是基于數(shù)據(jù)分析方法，被稱為自然語言理解中的“經(jīng)驗主義”，或稱實證方法，它主要是利用大規(guī)模的語料庫，采用概率的方法得到各語言現(xiàn)象共存的概率，在分析新語料時以共存概率的大小來確定語言成分之間的關系。基于規(guī)則的理性方法，本質(zhì)是一種確定性的演繹推理方法。其優(yōu)點在于根據(jù)上下文對確定事件的定性描述，能夠充分利用現(xiàn)有的語言學成果。缺點是對一些不

2、確定的事件則無能為力，同時規(guī)則的相容性和適應性也存在著限制?；诮y(tǒng)計的方法是一種經(jīng)驗主義的方法，其優(yōu)勢在于它的全部知識都是通過對大規(guī)模的語料庫加工分析而得到的，可以獲得很好的一致性和覆蓋性?；诮y(tǒng)計的方法是一種非確定性的定量分析方法，這種定量分析是基于概率的，因此必然會掩蓋小概率事件的發(fā)生。本文考察一種新的實證途徑，采用結構化的知識表示，應用ILP方法解決自然語言語句切分分析器的獲取問題。 自然語言語義結構的分析是自然語言理解的

3、基礎，可分為二個層次，其一是研究能充分表達自然語句內(nèi)各成份間語義關系的表示方法；其二是研究如何將自然語句轉換成某種期望的語義表示形式，即在自然語言語句和其對應的語義表示間建立正確的映射，完成這種映射也稱為自然語言語句的語義切分分析，這也是本文研究的重點之一，本文給出了一種基于ILP算法的自動語義切分器的構建系統(tǒng)ICASP，并通過一個切分示例來說明ICASP構建的切分器將自然語句映射成論旨角色語義表示的方法途徑。論旨角色語義分析的基本思想

4、是：在句中起中心作用的動詞，同參與動作的各個成分個體一起構成句子的“語義格”框架，以此描述自然語句中各組成成分間的深層語義關系，表達施事(誰做的)、受事(對誰做的)、工具(用什么工具)等概念所表示的語法語義關系。 “切分”一詞常用來表達將句子轉換成能夠明確描述句子語法關系的一種層次結構，依據(jù)某一上下文無關文法，自然語句可能可被切分為由句子成分加入適當?shù)臉俗⒔M成的層次結構，然而局限在語法結構上的切分只是自然語言語句理解問題中的一小

5、部分，事實上，自然語言理解要考慮的是深層的、面向語義上的問題，至少對句子的切分分析要指出句中成分的一些重要語義關系，諸如誰對誰做了什么等等，對自然語句語義層次上的切分分析稱為語義切分。 針對自然語句旨角色語義表示，本文設計并實現(xiàn)了一種基于ILP算法的自然語句語義切分器構建系統(tǒng)ICASP，ICASP采用一種新穎的ILP算法ICCR從語料中歸納學習控制規(guī)則，ICASP構建的語義切分器就是在這些控制規(guī)則的指導下完成對自然語言語句的切分

6、操作，ICCR融合了自頂向下和自底向上的ILP算法思想，在保留其基本的方法的同時有效地克服了各自的弱點，自底向上的歸納技術保證ICCR可以很好的處理具有高結構化特征的樣例；自頂向下的逐步特殊化方式，使得ICCR在具有以增強、相對抽象的方式表達的背景知識時，仍能有效地進行歸納。ICCR可以使用增強形式表示的背景知識，無需顯式的構造謂詞便可以處理包括函數(shù)的樣例，能以簡捷的方式學習遞歸方式描述的子句，并在一個簡單的框架中根據(jù)歸納需要發(fā)明新謂詞

7、。 ICCR是一個雙向搜索ILP算法，在自頂向下的搜索過程中采用了基于綁定的一階規(guī)則評估函數(shù)，相比常用的基于規(guī)則所覆蓋的正、負樣例數(shù)目的規(guī)則評估函數(shù)，新的規(guī)則評估函數(shù)能更好地量化一階規(guī)則啟發(fā)式性能，并能有效地區(qū)分等價規(guī)則的優(yōu)劣，可提高算法的搜索效率和規(guī)則的可讀性，引導算法沿著正確、高效的路徑搜索。 在某種意義上，機器學習算法可以描述為在一個很大的由可能的假設組成的空間中進行搜索，以確定其中最符合學習者所觀察到的數(shù)據(jù)和任何