雙語語料獲取系統(tǒng)關(guān)鍵技術(shù)的研究與實現(xiàn).pdf

1、隨著統(tǒng)計自然語言處理技術(shù)的發(fā)展，雙語平行語料庫在統(tǒng)計機(jī)器翻譯和跨語言檢索領(lǐng)域中的作用已不容忽視?，F(xiàn)有雙語平行語料庫仍然無法滿足實際應(yīng)用的要求，雙語語料庫成為統(tǒng)計機(jī)器翻譯系統(tǒng)和跨語言信息檢索的發(fā)展瓶頸?，F(xiàn)在雙語語料庫的進(jìn)一步研究成為國內(nèi)外研究者關(guān)注的焦點。目前的英漢語料庫主要集中在政府文件、新聞法律和著名文學(xué)翻譯等特殊領(lǐng)域，因此這種領(lǐng)域不平衡性降低了相關(guān)研究在實際應(yīng)用中的水平，從而使得各項基于語料庫的研究陷入瓶頸。為了減輕人工搜索雙語語料

2、的工作難度，有必要研究一種高效的雙語語料庫建設(shè)方案，并能夠輕易運用到各個領(lǐng)域研究工作中，以替代以往人工獲取雙語語料庫的方式。為解決實際問題提供精確的解決方案對相關(guān)研究發(fā)展具有非常重要的現(xiàn)實意義。
　　本文從基于不同網(wǎng)站提出了幾種獲取雙語語料的方法。包括面向“愛詞霸”的雙語語料自動獲取，基于中國學(xué)術(shù)期刊的語料獲取，以及基于專利的雙語語料獲取。本文詳細(xì)介紹了各個語料的獲取方法及過程。
　　針對不同的網(wǎng)站特點提出了不同的雙語語料獲

3、取方法，實現(xiàn)了大規(guī)模雙語語料快速準(zhǔn)確的自動獲取。在獲取“愛詞霸”的雙語語料時，主要采用Nutch爬蟲工具，因為對于英文而言，Nutch爬蟲效果相對較好，檢索也準(zhǔn)確，相關(guān)性較好。另外，本文放棄從整個互聯(lián)網(wǎng)中獲取雙語語料的思路，采用一個全新的雙語平行句對的獲取途徑，即通過獲取中國期刊全文數(shù)據(jù)庫中各學(xué)術(shù)文章的基本信息來獲得大規(guī)模高質(zhì)量的英漢雙語平行語料。
　　本文獲取了超過GB級的大規(guī)模雙語對齊語料，經(jīng)人工評價認(rèn)為非常準(zhǔn)確，為做進(jìn)一步的