智能雙語搜索方法及搜索引擎的研究.pdf

1、隨著我國經(jīng)濟(jì)與對外交流的不斷發(fā)展，翻譯市場規(guī)模迅速擴(kuò)大，利用計(jì)算機(jī)軟件等翻譯工具越來越受到用戶的青睞，各類機(jī)器翻譯的技術(shù)和方法層出不窮。機(jī)器翻譯的方法主要分為兩大類，分別是基于規(guī)則的方法和基于語料庫的方法?；谝?guī)則的機(jī)器翻譯最大的難題就是語言歧義的消解；基于語料庫的方法是采取翻譯記憶的模式，用戶利用已有的原文和譯文，建立起一個(gè)或多個(gè)語料庫，在翻譯過程中，系統(tǒng)自動搜索庫中相同或相似的翻譯資源，并給出參考譯文。 但是，目前大量基于翻

2、譯記憶模式的翻譯軟件所依賴的語料庫都是人工構(gòu)建的，語料庫容量有限，且更新緩慢。隨著因特網(wǎng)的發(fā)展，基于Web的全文搜索引擎越來越成為信息檢索的主要手段，若能將翻譯技術(shù)與Web信息搜索技術(shù)結(jié)合起來，就可以為用戶提供完善的、實(shí)時(shí)的和動態(tài)的翻譯服務(wù)。 從研究對象的角度來看，Internet所包含的數(shù)據(jù)呈現(xiàn)出海量性、半結(jié)構(gòu)化、多樣性、動態(tài)性、分布式和異構(gòu)性的特點(diǎn)。特別是經(jīng)過多年的積累，Internet網(wǎng)站上存儲了海量的中英文雙語網(wǎng)頁資源。

3、 雙語語料庫對機(jī)器翻譯、機(jī)器輔助翻譯、雙語詞典編纂、雙語術(shù)語自動提取、雙語對比研究以及雙語教學(xué)的巨大價(jià)值已經(jīng)得到越來越多的認(rèn)可。對于機(jī)器翻譯或機(jī)器輔助翻譯而言，雙語語料庫主要在兩方面發(fā)揮作用。一方面，雙語語料庫可以持續(xù)不斷地為基于記憶的翻譯引擎提供翻譯實(shí)例，另一方面，雙語語料庫又是一個(gè)寶藏，可以從中挖掘?qū)W習(xí)各種細(xì)粒度翻譯知識，供機(jī)器翻譯、機(jī)器輔助翻譯使用，這些翻譯知識對翻譯任務(wù)的各個(gè)環(huán)節(jié)都會起到積極作用 本課題的研究目的

4、是通過對網(wǎng)絡(luò)搜索引擎、自動積累雙語語料庫、機(jī)器翻譯的研究，利用網(wǎng)絡(luò)機(jī)器人技術(shù)、網(wǎng)頁噪音過濾技術(shù)、語句匹配入庫算法、數(shù)據(jù)挖掘、分詞技術(shù)、雙語對齊技術(shù)、智能用戶接口技術(shù)、個(gè)性化搜索技術(shù)、元搜索及結(jié)果融合與排序算法、全文檢索技術(shù)以及JAVA應(yīng)用等多項(xiàng)技術(shù)，研究基于網(wǎng)絡(luò)大規(guī)模語料庫和雙語網(wǎng)頁搜索的智能雙語搜索方法和搜索引擎。這既可以為專業(yè)人員提供自動的雙語網(wǎng)頁資源，又可以為用戶提供高質(zhì)量的輔助翻譯，避免翻譯的重復(fù)勞動，提高翻譯質(zhì)量，具有很好的市

5、場價(jià)值和社會效益。 本文在研究過程中，主要的創(chuàng)新工作如下： （1）在互聯(lián)網(wǎng)海量信息中，專門針對含有中英雙語信息的單頁文本和雙頁對照文本進(jìn)行研究。根據(jù)兩者不同的特點(diǎn)，對雙頁雙語文本首次提出了雙頁雙語語料挖掘算法DBWCM；對單頁雙語文本設(shè)計(jì)了分步處理算法，提出了識別與凈化單頁雙語文本的算法IPSBW和雙語句對匹配與語料挖掘算法BSMCM。通過執(zhí)行它們提取網(wǎng)頁中大量存在的雙語平行翻譯語料，形成大規(guī)模的語料庫，為輔助翻譯搜索打

6、下堅(jiān)實(shí)基礎(chǔ)。 （2）針對當(dāng)前搜索引擎的用戶界面現(xiàn)狀，利用概念檢索和潛在語義分析的思想，通過建立雙語同義詞詞典對查詢關(guān)鍵詞進(jìn)行雙語擴(kuò)展，并為用戶輸入提供擴(kuò)展提示，實(shí)現(xiàn)良好的用戶界面，提高了雙語輔助搜索的智能性和查全率。同時(shí)為提高查詢的準(zhǔn)確率，滿足用戶的個(gè)性化需求，研究了顯式和隱式兩種獲取與更新用戶個(gè)性化信息的方法，提出了雙語關(guān)鍵詞個(gè)性化擴(kuò)充算法PEBK和雙語查詢結(jié)果的個(gè)性化排序算法PSBR，以便使查詢結(jié)果達(dá)到因時(shí)因人因地的不同，得

7、到用戶真正想看到的結(jié)果。 （3）為了擴(kuò)大雙語搜索的范圍，將元搜索技術(shù)應(yīng)用在雙語翻譯搜索中，通過分析元搜索的結(jié)果融合方法，針對使用PageRank算法的問題，提出了結(jié)合相關(guān)度的改進(jìn)算法RSBS，并對算法的效果進(jìn)行驗(yàn)證。 （4）最后，在形成雙語語料庫的基礎(chǔ)上，基于Java和Lucene工具，設(shè)計(jì)網(wǎng)絡(luò)機(jī)器人模塊、網(wǎng)頁識別與凈化模塊、語料匹配入庫模塊、索引模塊、檢索模塊、個(gè)性化查詢模塊，用戶接口等七個(gè)主要模塊，實(shí)現(xiàn)雙語搜索，為用