基于統(tǒng)計(jì)方法的共指消解技術(shù)研究.pdf

1、自然語言中共指現(xiàn)象非常普遍。一個(gè)真實(shí)世界中的實(shí)體在自然語言中出現(xiàn)的時(shí)候，往往會(huì)有多種多樣的表達(dá)。雖然人們可以毫無困難的區(qū)分文章中同一實(shí)體的不同體現(xiàn)，但對(duì)計(jì)算機(jī)而言仍是非常困難的。共指消解就是根據(jù)文檔中各個(gè)表述的自身內(nèi)容以及所在上下文來確定不同實(shí)體的數(shù)量，以及確定各個(gè)實(shí)體分別包含哪些等價(jià)的表述。共指消解一直是自然語言處理中的核心問題，在機(jī)器翻譯、信息抽取、自動(dòng)文摘以及自動(dòng)問答等領(lǐng)域中都有重要應(yīng)用。
　　共指消解本身是一個(gè)非常復(fù)雜的問

2、題，需要考慮的問題和因素有很多。共指消解的本質(zhì)是等價(jià)類劃分。根據(jù)對(duì)劃分過程的影響和處理策略，本文針對(duì)共指消解研究中多個(gè)層面的問題進(jìn)行了深入的研究，主要是在一些共性的問題上進(jìn)行了探索。
　　首先，傳統(tǒng)的基于二元分類的共指消解方法中特征挖掘非常重要，在既有算法框架中需要發(fā)掘并融合新的特征來增加相關(guān)約束并最終提高系統(tǒng)性能。本文在二元分類框架上進(jìn)行相關(guān)的特征挖掘，在傳統(tǒng)特征的基礎(chǔ)上，融合多種背景語義特征，并提出基于維基百科的上下文特征，隨

3、后采用特征選擇算法篩選出有效特征。實(shí)驗(yàn)結(jié)果表明，這種方法將系統(tǒng)性能提高了5％。同時(shí)，將英文共指消解算法移植到中文上時(shí)，關(guān)鍵問題是中文人稱名詞短語的單復(fù)數(shù)特征的自動(dòng)識(shí)別。在大量總結(jié)規(guī)則和提取三維特征的基礎(chǔ)上，該特征的識(shí)別可以達(dá)到很好的性能，其中基于規(guī)則的方法可以保證結(jié)果的精確率，但是整體而言，基于機(jī)器學(xué)習(xí)的方法更加實(shí)用。
　　其次，基于分類方法的共指消解已經(jīng)經(jīng)過十多年的發(fā)展，現(xiàn)在一些研究人員采用實(shí)體-表述模型來突破以往的二元分類框架

4、中只能考慮局部信息的限制。這種模型在算法性能上雖然得到了一定的提高，但是由于共指現(xiàn)象的特點(diǎn)以及既有實(shí)體-表述模型在特征表示上的不足，需要采用更好的知識(shí)表示方案和相應(yīng)的學(xué)習(xí)算法。本文提出基于一階謂詞邏輯的實(shí)體-表述模型，并采用歸納邏輯編程自動(dòng)學(xué)習(xí)共指消解的相關(guān)規(guī)則。實(shí)驗(yàn)結(jié)果表明，最終的實(shí)驗(yàn)性能比最好的實(shí)體-表述模型有所提高，歸納邏輯編程對(duì)共指消解而言是一種有效的方案。
　　接著，基于有指導(dǎo)方法的共指消解缺少足夠的訓(xùn)練語料，需要開展無

5、指導(dǎo)的共指消解方法。以往的聚類算法必須經(jīng)過兩兩計(jì)算相似度的步驟，并且只能利用局部信息，這樣不可避免的會(huì)產(chǎn)生錯(cuò)誤級(jí)聯(lián)。本文采用超圖模型來對(duì)共指消解中的各種特征和最終的等價(jià)類劃分之間的關(guān)系建立模型，采用超圖分割算法實(shí)現(xiàn)從共指特征到最終的表述等價(jià)類的直接劃分。實(shí)驗(yàn)結(jié)果表明，這種方法將以往無指導(dǎo)方法和有指導(dǎo)方法之間的差距大幅度縮小，說明這種框架是可行的。
　　最后，共指消解在從單文檔轉(zhuǎn)換到多文檔時(shí)，需要解決重名消解的問題。以往的重名消解方