中文復(fù)述實(shí)例與復(fù)述模板抽取技術(shù)研究.pdf

1、復(fù)述是自然語言中非常普遍的一個(gè)現(xiàn)象，它集中反映了語言的多樣性，已經(jīng)被應(yīng)用到信息檢索、自動(dòng)問答、信息抽取、自動(dòng)文摘、機(jī)器翻譯等多個(gè)領(lǐng)域。本文從相關(guān)語料庫(kù)出發(fā)，運(yùn)用多種自然語言處理技術(shù)和數(shù)據(jù)挖掘方法，對(duì)復(fù)述實(shí)例和復(fù)述模板的抽取進(jìn)行了深入研究。主要內(nèi)容包括以下幾個(gè)方面：
　　1.復(fù)述研究的起點(diǎn)是復(fù)述實(shí)例語料庫(kù)的構(gòu)建。本文基于兩種類型的相關(guān)語料庫(kù)，名著的多個(gè)譯本構(gòu)成的篇章級(jí)單語平行語料庫(kù)和對(duì)同一事件的不同新聞報(bào)道組成的可比新聞?wù)Z料庫(kù)，分別

2、從中抽取句子級(jí)的復(fù)述實(shí)例。對(duì)于譯本單語平行語料庫(kù)，本文針對(duì)沒有段落對(duì)齊標(biāo)記的問題，提出了一種基于長(zhǎng)度和位置信息相結(jié)合的句子對(duì)齊方法，有效獲取了大量句子級(jí)復(fù)述實(shí)例。對(duì)于可比新聞?wù)Z料庫(kù)，本文實(shí)驗(yàn)了三種抽取方法，分別為編輯距離方法、語義編輯距離方法和基于命名實(shí)體過濾的啟發(fā)式方法，根據(jù)各種方法的特點(diǎn)，能夠從可以新聞?wù)Z料庫(kù)中抽取出不同類型的復(fù)述實(shí)例。
　　2.與句子級(jí)復(fù)述實(shí)例相比，短語級(jí)復(fù)述實(shí)例具有更細(xì)粒度的知識(shí)，因此本文針對(duì)短語級(jí)復(fù)述實(shí)例

3、的獲取進(jìn)行了專門的研究。本文分別從兩種語料庫(kù)中抽短語復(fù)述實(shí)例：一種是對(duì)齊的句子級(jí)復(fù)述實(shí)例語料庫(kù)，一種是漢英雙語平行語料庫(kù)。對(duì)于句子級(jí)對(duì)齊復(fù)述實(shí)例語料庫(kù)，首先進(jìn)行了統(tǒng)計(jì)和詞典相結(jié)合的方法進(jìn)行了復(fù)述詞對(duì)齊，然后利用基于規(guī)則的方法，從詞對(duì)齊后的復(fù)述實(shí)例語料庫(kù)中抽取出大規(guī)模的短語級(jí)復(fù)述實(shí)例語料庫(kù)。對(duì)于漢英雙語平行語料庫(kù)，針對(duì)只輸入一個(gè)短語從雙語語料庫(kù)中抽取的復(fù)述不能夠解決歧義的情況，本文同時(shí)輸入一個(gè)雙語短語，雙語對(duì)中的兩個(gè)短語互相之間能夠確定對(duì)

4、方的語義，提出了一種基于雙語語料庫(kù)的短語級(jí)復(fù)述實(shí)例獲取方法，能夠有效的從中獲取短語級(jí)復(fù)述實(shí)例。
　　3.復(fù)述模板具有更強(qiáng)的抽象與表達(dá)能力，能夠被用來生成大量的復(fù)述實(shí)例。對(duì)于復(fù)述模板的研究主要存在兩個(gè)問題，第一是復(fù)述模板的表示，第二是復(fù)述模板的抽取。而復(fù)述模板的表示是復(fù)述模板抽取的前提，因此本文在分析了多種復(fù)述模板表示方法的基礎(chǔ)之上，提出了一種基于語義信息的復(fù)述模板表示方法，該方法結(jié)合一部中文語義詞典《同義詞詞林（擴(kuò)展版）》，利用互

5、聯(lián)網(wǎng)上的豐富信息，自動(dòng)對(duì)復(fù)述實(shí)例進(jìn)行泛化以獲取復(fù)述模板，并從多個(gè)角度對(duì)泛化后的復(fù)述模板進(jìn)行了評(píng)測(cè)。實(shí)驗(yàn)結(jié)果顯示，本文的復(fù)述模板表示方法，與傳統(tǒng)的基于詞性的復(fù)述模板表示方法，具有更高的合理率和準(zhǔn)確率。
　　4.本文提出了一種面向特定關(guān)系的復(fù)述模板抽取方法，該方法不需要首先抽取出準(zhǔn)確的復(fù)述實(shí)例，而是面向某一特定關(guān)系，只需給定一個(gè)簡(jiǎn)單易得的種子，就可以自動(dòng)抽取出描述該關(guān)系的大量模板，這些模板之間由于都具有描述該特定關(guān)系的先驗(yàn)知識(shí)，因此具

6、備了一種近似的復(fù)述模板關(guān)系。本文首先在一個(gè)大規(guī)模的語料庫(kù)上進(jìn)行關(guān)系模板的抽取，為了解決數(shù)據(jù)稀疏問題，又將文本資源從大規(guī)模語料庫(kù)擴(kuò)展到互聯(lián)網(wǎng)上，并改進(jìn)了相應(yīng)的模板抽取方法。實(shí)驗(yàn)結(jié)果表明，該方法能夠抽取有效的復(fù)述模板。
　　本文界定復(fù)述研究的對(duì)象是短語或者句子的同義現(xiàn)象，需要用到多種自然語言處理的底層技術(shù)，因此，自然語言處理各種底層技術(shù)的不斷發(fā)展和成熟，能夠?yàn)閺?fù)述技術(shù)進(jìn)一步深入的研究提供基礎(chǔ)。反過來，復(fù)述研究的成果，也能夠有效的促進(jìn)各