基于文本挖掘的翻譯知識(shí)自動(dòng)獲取研究.pdf

1、近年來(lái)，互聯(lián)網(wǎng)的普及與迅猛發(fā)展，提供了大量而豐富的電子信息。由于國(guó)際化的需要，越來(lái)越多的網(wǎng)站成為雙語(yǔ)網(wǎng)站，越來(lái)越多的網(wǎng)上信息以多語(yǔ)言的形式發(fā)布，這就為雙語(yǔ)提供了很大的來(lái)源?；ヂ?lián)網(wǎng)是一個(gè)取之不盡，日益增長(zhǎng)的信息源，因此是一個(gè)潛在的巨大的多語(yǔ)種語(yǔ)料庫(kù)。研究有效的方法從互聯(lián)網(wǎng)上自動(dòng)挖掘這些海量的、真實(shí)的雙語(yǔ)文本（即基于Web的雙語(yǔ)語(yǔ)料庫(kù)挖掘）、利用已挖掘的漢英平行語(yǔ)料庫(kù)進(jìn)行漢英翻譯等價(jià)對(duì)的抽取、利用搜索引擎進(jìn)行譯文的挖掘，無(wú)疑是解決雙語(yǔ)語(yǔ)料庫(kù)

2、建設(shè)和翻譯知識(shí)獲取難題的有效途徑。本文主要取得主要成果有以下幾方面：
　　 基于WEB的雙語(yǔ)平行語(yǔ)料庫(kù)獲取研究中探索了雙語(yǔ)平行資源在互聯(lián)網(wǎng)上的存在形式及相應(yīng)的獲取方法，即定義一種啟發(fā)式信息來(lái)概括這類多語(yǔ)種平行文本存在的共同特征，以此作為一個(gè)有效的入口，來(lái)獲取我們關(guān)心的Web資源；實(shí)現(xiàn)了基于URL命名相似性的雙語(yǔ)候選網(wǎng)頁(yè)獲取算法，預(yù)先定義在URL命名中常見的與特定語(yǔ)種相關(guān)的前后綴表，來(lái)發(fā)現(xiàn)一個(gè)具有命名規(guī)律性的雙語(yǔ)網(wǎng)站中的雙語(yǔ)平行網(wǎng)

3、頁(yè)，利用該方法可以充分挖掘出具有命名相似性的雙語(yǔ)網(wǎng)站中存在的雙語(yǔ)平行網(wǎng)頁(yè)；改進(jìn)了雙語(yǔ)平行句對(duì)抽取技術(shù)，通過(guò)利用雙語(yǔ)平行網(wǎng)頁(yè)HTML結(jié)構(gòu)相似性這一優(yōu)點(diǎn)，而且牢牢把握住雙語(yǔ)平行句對(duì)互為翻譯這一本質(zhì)特征，取得了很好的效果。
　　 從雙語(yǔ)語(yǔ)料庫(kù)中獲取翻譯對(duì)的研究中探討了如何利用漢英平行語(yǔ)料庫(kù)進(jìn)行漢英翻譯等價(jià)對(duì)的抽取。首先對(duì)英文語(yǔ)料和中文語(yǔ)料分別進(jìn)行詞性標(biāo)注和切分與詞性標(biāo)注，然后利用N-gram模型獲得候選翻譯單元，再根據(jù)統(tǒng)計(jì)同現(xiàn)函數(shù)計(jì)算