基于特征融合的單語詞對齊方法研究.pdf

1、復(fù)述是自然語言中比較普遍的一個(gè)現(xiàn)象，它集中反映了語言的多樣性。復(fù)述研究的對象主要是短語或者句子的同義現(xiàn)象。復(fù)述技術(shù)已經(jīng)被成功的應(yīng)用到信息檢索、自動(dòng)問答、信息抽取、自動(dòng)文摘以及機(jī)器翻譯等多個(gè)領(lǐng)域，有效地提高了這些系統(tǒng)的性能。詞對齊技術(shù)在復(fù)述的兩個(gè)基本任務(wù)：復(fù)述識別和復(fù)述生成中都起著非常重要的作用。
　　面向復(fù)述的詞對齊相比于傳統(tǒng)面向機(jī)器翻譯的詞對齊有以下幾方面的特點(diǎn)：
　　首先是語料規(guī)模受限。相對于雙語平行語料，我們所能獲得的

2、單語平行語料非常之少，而傳統(tǒng)基于統(tǒng)計(jì)學(xué)的詞對齊方法在語料規(guī)模方面又有著較高的要求。其次，由于本文所討論的對齊是面向復(fù)述的單語詞對齊，具有雙語問題不具備的一些特征，這些特征同時(shí)也是無法比擬的優(yōu)勢。比如，單語平行句對通常具有相似的句法結(jié)構(gòu)，而目前，句法分析工具也獲得了可接受的應(yīng)用性能。再如，單語問題有著較為豐富的語言學(xué)資源，HowNet、WordNet都能在語言學(xué)知識上為我們的對齊提供幫助。
　　綜上，如何克服小規(guī)模語料的限制，充分利

3、用單語問題的特點(diǎn)，提高自動(dòng)對齊的表現(xiàn)成為本文研究的重點(diǎn)。本文提出使用特征融合的方法來解決這些問題。
　　我們采用了線性模型來融合特征，這是一種簡單而又行之有效的特征融合方法，易于進(jìn)行各種特征的合并和拓展。我們選取的四大類特征分別是：詞典特征、統(tǒng)計(jì)特征、位置特征和上下文特征。這些特征從語言學(xué)、統(tǒng)計(jì)學(xué)等多個(gè)方面刻畫描述對齊特點(diǎn)；我們采用感知器學(xué)習(xí)算法進(jìn)行參數(shù)訓(xùn)練。此外，為了提高解碼效率，本文選擇了模擬退火解碼算法。
　　實(shí)驗(yàn)數(shù)據(jù)