詞對抽取及基于網(wǎng)絡(luò)的未登錄詞譯文挖掘.pdf

1、在中文信息處理領(lǐng)域，未登錄詞(OOV)的識別一直是個難點問題。而未登錄詞的翻譯在自然語言處理的應(yīng)用中是很重要的，比如在跨語言信息檢索(CLIR)、問答系統(tǒng)(OA)中，未登錄詞翻譯的正確性將直接影響到應(yīng)用的最終性能。 本文首先介紹了三種抽取詞對的方法，根據(jù)使用的語料庫是否已經(jīng)標(biāo)注，我們把這三種方法分別稱為非監(jiān)督的方法、監(jiān)督的方法和半監(jiān)督的方法。對于抽取得到的詞對，我們采用了十二種基于頻度的量度和兩種基于上下文相似度的量度進(jìn)行了關(guān)聯(lián)

2、度測量。實驗結(jié)果表明：采用半監(jiān)督的方法，簡單地利用頻度進(jìn)行關(guān)聯(lián)度打分，抽取詞對的效果是最優(yōu)的。 基于網(wǎng)絡(luò)的未登錄詞譯文挖掘是本文的研究重點。首先對未登錄詞進(jìn)行分類，分為直譯詞或非直譯詞，并進(jìn)行英文擴展(根據(jù)分類結(jié)果分別進(jìn)行直接擴展或共現(xiàn)擴展)；再將未登錄詞與擴展后的英文一起放入搜索引擎進(jìn)行搜索，然后從搜索引擎返回的結(jié)果頁面中挖掘未登錄詞的譯文。挖掘時先對返回的結(jié)果進(jìn)行預(yù)處理，過濾掉一些干擾信息，然后抽取出其中的候選譯文；再選用頻