智能雙語(yǔ)搜索方法及搜索引擎的研究.pdf

1、隨著我國(guó)經(jīng)濟(jì)與對(duì)外交流的不斷發(fā)展，翻譯市場(chǎng)規(guī)模迅速擴(kuò)大，利用計(jì)算機(jī)軟件等翻譯工具越來(lái)越受到用戶的青睞，各類機(jī)器翻譯的技術(shù)和方法層出不窮。機(jī)器翻譯的方法主要分為兩大類，分別是基于規(guī)則的方法和基于語(yǔ)料庫(kù)的方法?；谝?guī)則的機(jī)器翻譯最大的難題就是語(yǔ)言歧義的消解；基于語(yǔ)料庫(kù)的方法是采取翻譯記憶的模式，用戶利用已有的原文和譯文，建立起一個(gè)或多個(gè)語(yǔ)料庫(kù)，在翻譯過(guò)程中，系統(tǒng)自動(dòng)搜索庫(kù)中相同或相似的翻譯資源，并給出參考譯文。 但是，目前大量基于翻

2、譯記憶模式的翻譯軟件所依賴的語(yǔ)料庫(kù)都是人工構(gòu)建的，語(yǔ)料庫(kù)容量有限，且更新緩慢。隨著因特網(wǎng)的發(fā)展，基于Web的全文搜索引擎越來(lái)越成為信息檢索的主要手段，若能將翻譯技術(shù)與Web信息搜索技術(shù)結(jié)合起來(lái)，就可以為用戶提供完善的、實(shí)時(shí)的和動(dòng)態(tài)的翻譯服務(wù)。 從研究對(duì)象的角度來(lái)看，Internet所包含的數(shù)據(jù)呈現(xiàn)出海量性、半結(jié)構(gòu)化、多樣性、動(dòng)態(tài)性、分布式和異構(gòu)性的特點(diǎn)。特別是經(jīng)過(guò)多年的積累，Internet網(wǎng)站上存儲(chǔ)了海量的中英文雙語(yǔ)網(wǎng)頁(yè)資源。

3、 雙語(yǔ)語(yǔ)料庫(kù)對(duì)機(jī)器翻譯、機(jī)器輔助翻譯、雙語(yǔ)詞典編纂、雙語(yǔ)術(shù)語(yǔ)自動(dòng)提取、雙語(yǔ)對(duì)比研究以及雙語(yǔ)教學(xué)的巨大價(jià)值已經(jīng)得到越來(lái)越多的認(rèn)可。對(duì)于機(jī)器翻譯或機(jī)器輔助翻譯而言，雙語(yǔ)語(yǔ)料庫(kù)主要在兩方面發(fā)揮作用。一方面，雙語(yǔ)語(yǔ)料庫(kù)可以持續(xù)不斷地為基于記憶的翻譯引擎提供翻譯實(shí)例，另一方面，雙語(yǔ)語(yǔ)料庫(kù)又是一個(gè)寶藏，可以從中挖掘?qū)W習(xí)各種細(xì)粒度翻譯知識(shí)，供機(jī)器翻譯、機(jī)器輔助翻譯使用，這些翻譯知識(shí)對(duì)翻譯任務(wù)的各個(gè)環(huán)節(jié)都會(huì)起到積極作用 本課題的研究目的

4、是通過(guò)對(duì)網(wǎng)絡(luò)搜索引擎、自動(dòng)積累雙語(yǔ)語(yǔ)料庫(kù)、機(jī)器翻譯的研究，利用網(wǎng)絡(luò)機(jī)器人技術(shù)、網(wǎng)頁(yè)噪音過(guò)濾技術(shù)、語(yǔ)句匹配入庫(kù)算法、數(shù)據(jù)挖掘、分詞技術(shù)、雙語(yǔ)對(duì)齊技術(shù)、智能用戶接口技術(shù)、個(gè)性化搜索技術(shù)、元搜索及結(jié)果融合與排序算法、全文檢索技術(shù)以及JAVA應(yīng)用等多項(xiàng)技術(shù)，研究基于網(wǎng)絡(luò)大規(guī)模語(yǔ)料庫(kù)和雙語(yǔ)網(wǎng)頁(yè)搜索的智能雙語(yǔ)搜索方法和搜索引擎。這既可以為專業(yè)人員提供自動(dòng)的雙語(yǔ)網(wǎng)頁(yè)資源，又可以為用戶提供高質(zhì)量的輔助翻譯，避免翻譯的重復(fù)勞動(dòng)，提高翻譯質(zhì)量，具有很好的市

5、場(chǎng)價(jià)值和社會(huì)效益。 本文在研究過(guò)程中，主要的創(chuàng)新工作如下： （1）在互聯(lián)網(wǎng)海量信息中，專門(mén)針對(duì)含有中英雙語(yǔ)信息的單頁(yè)文本和雙頁(yè)對(duì)照文本進(jìn)行研究。根據(jù)兩者不同的特點(diǎn)，對(duì)雙頁(yè)雙語(yǔ)文本首次提出了雙頁(yè)雙語(yǔ)語(yǔ)料挖掘算法DBWCM；對(duì)單頁(yè)雙語(yǔ)文本設(shè)計(jì)了分步處理算法，提出了識(shí)別與凈化單頁(yè)雙語(yǔ)文本的算法IPSBW和雙語(yǔ)句對(duì)匹配與語(yǔ)料挖掘算法BSMCM。通過(guò)執(zhí)行它們提取網(wǎng)頁(yè)中大量存在的雙語(yǔ)平行翻譯語(yǔ)料，形成大規(guī)模的語(yǔ)料庫(kù)，為輔助翻譯搜索打

6、下堅(jiān)實(shí)基礎(chǔ)。 （2）針對(duì)當(dāng)前搜索引擎的用戶界面現(xiàn)狀，利用概念檢索和潛在語(yǔ)義分析的思想，通過(guò)建立雙語(yǔ)同義詞詞典對(duì)查詢關(guān)鍵詞進(jìn)行雙語(yǔ)擴(kuò)展，并為用戶輸入提供擴(kuò)展提示，實(shí)現(xiàn)良好的用戶界面，提高了雙語(yǔ)輔助搜索的智能性和查全率。同時(shí)為提高查詢的準(zhǔn)確率，滿足用戶的個(gè)性化需求，研究了顯式和隱式兩種獲取與更新用戶個(gè)性化信息的方法，提出了雙語(yǔ)關(guān)鍵詞個(gè)性化擴(kuò)充算法PEBK和雙語(yǔ)查詢結(jié)果的個(gè)性化排序算法PSBR，以便使查詢結(jié)果達(dá)到因時(shí)因人因地的不同，得

7、到用戶真正想看到的結(jié)果。 （3）為了擴(kuò)大雙語(yǔ)搜索的范圍，將元搜索技術(shù)應(yīng)用在雙語(yǔ)翻譯搜索中，通過(guò)分析元搜索的結(jié)果融合方法，針對(duì)使用PageRank算法的問(wèn)題，提出了結(jié)合相關(guān)度的改進(jìn)算法RSBS，并對(duì)算法的效果進(jìn)行驗(yàn)證。 （4）最后，在形成雙語(yǔ)語(yǔ)料庫(kù)的基礎(chǔ)上，基于Java和Lucene工具，設(shè)計(jì)網(wǎng)絡(luò)機(jī)器人模塊、網(wǎng)頁(yè)識(shí)別與凈化模塊、語(yǔ)料匹配入庫(kù)模塊、索引模塊、檢索模塊、個(gè)性化查詢模塊，用戶接口等七個(gè)主要模塊，實(shí)現(xiàn)雙語(yǔ)搜索，為用