基于Web的未登錄詞翻譯技術(shù)研究.pdf

1、未登錄詞(Out of Vocabulary，簡寫為OOV)的查詢翻譯是影響跨語言信息檢索(Cross-Language Information Retrieval，簡寫為CLIR)性能的關(guān)鍵因素之一。它的翻譯好壞直接影響著機(jī)器翻譯、跨語言檢索等自然語言處理技術(shù)的性能。
　　 本文充分利用豐富的網(wǎng)絡(luò)資源來實(shí)現(xiàn)OOV的譯文挖掘，主要結(jié)合維基百科和搜索引擎各自的優(yōu)點(diǎn)實(shí)現(xiàn)。具體步驟包括：縮略語(Abbreviation)是一種常見的O

2、OV文字形式，由于縮略語的歧義性，使得一項(xiàng)縮略語往往存在多種全稱形式，因此縮略語的識(shí)別和全稱提取對(duì)OOV的查詢翻譯至關(guān)重要，本文分別基于搜索引擎和維基百科來實(shí)現(xiàn)縮略語的全稱提取。然后將查詢?cè)~與維基百科中篇章的對(duì)齊情況粗略分為兩種，分別是有目標(biāo)鏈接的對(duì)齊和無目標(biāo)鏈接的對(duì)齊，對(duì)于有目標(biāo)鏈接對(duì)齊的詞條，通過提取目標(biāo)語言鏈接標(biāo)題來完成OOV的翻譯。對(duì)于無目標(biāo)鏈接對(duì)齊的詞條，本文通過搜索引擎來實(shí)現(xiàn)其譯文的挖掘。
　　 首先，為了實(shí)現(xiàn)跨語言

3、信息檢索中查詢?cè)~的有效擴(kuò)展，獲得高質(zhì)量的雙語摘要資源，基于維基百科中存在的源語言詞條，通過提取該源語言詞條對(duì)應(yīng)篇章摘要中超鏈接的目標(biāo)語言標(biāo)題，作為跨語言的擴(kuò)展詞。其次，在目標(biāo)缺失情況下，利用搜索引擎的反饋獲取雙語共現(xiàn)語境，然后基于共現(xiàn)特征的主題詞譯文的查詢擴(kuò)展方法，并通過二次詞典翻譯、以及基于OOV和擴(kuò)展詞融合后的查詢構(gòu)建和二次檢索，獲得高質(zhì)量的雙語摘要資源；最后，基于對(duì)數(shù)似然比(Log Likelihood Ratio，簡寫為LLR)