自然語(yǔ)言處理KN模型在機(jī)器翻譯優(yōu)化中的應(yīng)用.pdf

1、21世紀(jì)是互聯(lián)網(wǎng)十分發(fā)達(dá)的新時(shí)代，電腦和網(wǎng)絡(luò)在人們?nèi)粘Ｉ?、學(xué)習(xí)和工作中發(fā)揮的作用越來(lái)越強(qiáng)大。人與人之間的語(yǔ)言交流有時(shí)也會(huì)通過(guò)電腦和互聯(lián)網(wǎng)的形式表現(xiàn)出來(lái)。因此，人們對(duì)于電腦模擬人腦進(jìn)行語(yǔ)言學(xué)習(xí)的渴望也與未來(lái)越強(qiáng)烈。人們希望電腦能夠同人一樣對(duì)語(yǔ)言和文字進(jìn)行處理、判斷和預(yù)測(cè)，因此關(guān)于自然語(yǔ)言模型的研究就逐步發(fā)展了起來(lái)。
　　在諸多語(yǔ)言模型中KN平滑模型不僅考慮到了歷史對(duì)于語(yǔ)言概率估計(jì)的影響，也應(yīng)用了插值技術(shù)，同時(shí)通過(guò)全面定義的折扣函數(shù)

2、，解決了統(tǒng)計(jì)語(yǔ)言模型中常見(jiàn)的數(shù)據(jù)稀疏問(wèn)題，更精確的估計(jì)了句子或是文章的概率，在實(shí)際生活中有很廣泛的應(yīng)用。本文就應(yīng)用了經(jīng)典的修正后的KN模型進(jìn)行了兩個(gè)實(shí)驗(yàn)。一個(gè)針對(duì)英語(yǔ)，進(jìn)行了機(jī)器翻譯的優(yōu)化和篩選；另一個(gè)針對(duì)德語(yǔ)，探尋了語(yǔ)言模型更廣泛的應(yīng)用。
　　本文首先介紹了機(jī)器翻譯的相關(guān)概念，簡(jiǎn)單闡述了機(jī)器翻譯的幾種方法。然后又提出了自然語(yǔ)言模型，為解決基于統(tǒng)計(jì)的語(yǔ)言模型中出現(xiàn)的數(shù)據(jù)稀疏問(wèn)題，本文列舉了幾種平滑模型，其中以Kneser-Ney模

3、型為主。在本文的實(shí)驗(yàn)部分，英語(yǔ)的訓(xùn)練和測(cè)試語(yǔ)料庫(kù)來(lái)源于聯(lián)合國(guó)的會(huì)議記錄并由作者根據(jù)實(shí)驗(yàn)需要進(jìn)行了修改和完善，其中包含例如對(duì)一句話的四到五種翻譯。作為翻譯標(biāo)準(zhǔn)的句子來(lái)源于聯(lián)合國(guó)會(huì)議記錄英文版，其他各翻譯版本來(lái)源于互聯(lián)網(wǎng)上廣泛存在的翻譯網(wǎng)站，即機(jī)器翻譯。除此之外，還包含了一些人工翻譯。通過(guò)設(shè)計(jì)程序，使用KN模型，對(duì)各翻譯結(jié)果智能排序，選擇最佳版本，即最符合訓(xùn)練語(yǔ)料庫(kù)語(yǔ)境的版本，通過(guò)比較驗(yàn)證了KN模型的可行性。德語(yǔ)部分的實(shí)驗(yàn)流程與英語(yǔ)大致相同