漢語(yǔ)句法分析及其在漢英統(tǒng)計(jì)翻譯中的應(yīng)用.pdf

1、本文是對(duì)漢語(yǔ)句法分析和基于句法的統(tǒng)計(jì)機(jī)器翻譯的一個(gè)初步研究。文中對(duì)句法分析和機(jī)器翻譯的重要技術(shù)和發(fā)展脈絡(luò)進(jìn)行了整理和分析，并在此基礎(chǔ)上分別設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)漢語(yǔ)句法分析系統(tǒng)和一個(gè)基于句法的統(tǒng)計(jì)機(jī)器翻譯原型系統(tǒng)。 句法分析方面，我們主要的工作是將詞性標(biāo)注的過(guò)程和句法分析的過(guò)程進(jìn)行融合，將詞性標(biāo)注和句法分析一體化，探討最終避免詞性標(biāo)注錯(cuò)誤傳播的途徑。我們將詞性標(biāo)注看作分析的初始化過(guò)程，將單詞的詞性看成一種特殊的邊，對(duì)于每個(gè)單詞上的每種

2、可能詞性標(biāo)注都生成一條邊，并根據(jù)隱馬爾可夫過(guò)程假設(shè)計(jì)算該邊的優(yōu)先級(jí)。而對(duì)于具體的分析過(guò)程，我們采用Collins的基于核心節(jié)點(diǎn)的馬爾可夫擴(kuò)展方式和Chamiak的基于邊的最佳優(yōu)先算法。最終的實(shí)驗(yàn)結(jié)果表明，這樣的嘗試是成功的，我們?cè)跒I州樹(shù)庫(kù)1.0上取得F1為80.36％，詞性標(biāo)注準(zhǔn)確率為92.74％。同時(shí)，我們進(jìn)行了對(duì)比實(shí)驗(yàn)，我們采用Adwait的最大熵詞性標(biāo)注器給出最優(yōu)的標(biāo)注，后進(jìn)行句法分析，得到句法分析F1為76.07％，詞性標(biāo)注準(zhǔn)確

3、率為92.8％。這進(jìn)一步證明了我們的融合思想的正確性，即在詞性標(biāo)注準(zhǔn)確率相同的情況下，詞性標(biāo)注和句法分析的融合可以有效地減少錯(cuò)誤傳播。 機(jī)器翻譯方面，我們主要是對(duì)Graehl和Kevin Knight的模型進(jìn)行演化改進(jìn)，提出了廣義葉子節(jié)點(diǎn)的概念。我們采用自底向上的策略，將已找到對(duì)齊的子樹(shù)縮成一點(diǎn)，用該子樹(shù)的根節(jié)點(diǎn)代替該子樹(shù)作為新的葉子節(jié)點(diǎn)；這種新生成的葉子節(jié)點(diǎn)，我們稱之為廣義葉子結(jié)點(diǎn)。在這自底向上的過(guò)程中，當(dāng)找到對(duì)齊時(shí)，我們用子