基于統(tǒng)計方法的共指消解技術研究.pdf

1、自然語言中共指現(xiàn)象非常普遍。一個真實世界中的實體在自然語言中出現(xiàn)的時候，往往會有多種多樣的表達。雖然人們可以毫無困難的區(qū)分文章中同一實體的不同體現(xiàn)，但對計算機而言仍是非常困難的。共指消解就是根據(jù)文檔中各個表述的自身內(nèi)容以及所在上下文來確定不同實體的數(shù)量，以及確定各個實體分別包含哪些等價的表述。共指消解一直是自然語言處理中的核心問題，在機器翻譯、信息抽取、自動文摘以及自動問答等領域中都有重要應用。
　　共指消解本身是一個非常復雜的問

2、題，需要考慮的問題和因素有很多。共指消解的本質(zhì)是等價類劃分。根據(jù)對劃分過程的影響和處理策略，本文針對共指消解研究中多個層面的問題進行了深入的研究，主要是在一些共性的問題上進行了探索。
　　首先，傳統(tǒng)的基于二元分類的共指消解方法中特征挖掘非常重要，在既有算法框架中需要發(fā)掘并融合新的特征來增加相關約束并最終提高系統(tǒng)性能。本文在二元分類框架上進行相關的特征挖掘，在傳統(tǒng)特征的基礎上，融合多種背景語義特征，并提出基于維基百科的上下文特征，隨

3、后采用特征選擇算法篩選出有效特征。實驗結(jié)果表明，這種方法將系統(tǒng)性能提高了5％。同時，將英文共指消解算法移植到中文上時，關鍵問題是中文人稱名詞短語的單復數(shù)特征的自動識別。在大量總結(jié)規(guī)則和提取三維特征的基礎上，該特征的識別可以達到很好的性能，其中基于規(guī)則的方法可以保證結(jié)果的精確率，但是整體而言，基于機器學習的方法更加實用。
　　其次，基于分類方法的共指消解已經(jīng)經(jīng)過十多年的發(fā)展，現(xiàn)在一些研究人員采用實體-表述模型來突破以往的二元分類框架

4、中只能考慮局部信息的限制。這種模型在算法性能上雖然得到了一定的提高，但是由于共指現(xiàn)象的特點以及既有實體-表述模型在特征表示上的不足，需要采用更好的知識表示方案和相應的學習算法。本文提出基于一階謂詞邏輯的實體-表述模型，并采用歸納邏輯編程自動學習共指消解的相關規(guī)則。實驗結(jié)果表明，最終的實驗性能比最好的實體-表述模型有所提高，歸納邏輯編程對共指消解而言是一種有效的方案。
　　接著，基于有指導方法的共指消解缺少足夠的訓練語料，需要開展無

5、指導的共指消解方法。以往的聚類算法必須經(jīng)過兩兩計算相似度的步驟，并且只能利用局部信息，這樣不可避免的會產(chǎn)生錯誤級聯(lián)。本文采用超圖模型來對共指消解中的各種特征和最終的等價類劃分之間的關系建立模型，采用超圖分割算法實現(xiàn)從共指特征到最終的表述等價類的直接劃分。實驗結(jié)果表明，這種方法將以往無指導方法和有指導方法之間的差距大幅度縮小，說明這種框架是可行的。
　　最后，共指消解在從單文檔轉(zhuǎn)換到多文檔時，需要解決重名消解的問題。以往的重名消解方