基于統(tǒng)計(jì)語言模型的跨語言信息檢索.pdf

1、隨著互聯(lián)網(wǎng)資源的多語言性和用戶所使用語言的日益多樣性，跨語言信息檢索引起了眾多研究者的重視，成為當(dāng)前信息檢索領(lǐng)域的一個(gè)研究熱點(diǎn)?？缯Z言檢索系統(tǒng)允許用戶使用一種語言的“查詢”在另外的一種或多種語言的“文檔”中進(jìn)行檢索，這對(duì)于很多不精通外語的搜索引擎用戶而言具有重要意義。
　　 基于語言模型的檢索方法為信息檢索領(lǐng)域開辟了一個(gè)很有前景同時(shí)也具有相當(dāng)挑戰(zhàn)性的方向。與傳統(tǒng)檢索模型相比，語言模型不僅具有良好的理論基礎(chǔ)，而且非常靈活，經(jīng)過簡(jiǎn)單

2、的變換很容易推演出其他經(jīng)典的檢索模型。此外，大量的實(shí)驗(yàn)結(jié)果表明，該方法的檢索效果優(yōu)于其他檢索模型，因而一經(jīng)提出便受到了廣大研究人員的青睞。然而當(dāng)前語言模型方法的研究主要集中在單語檢索任務(wù)中，很少有研究關(guān)注語言模型方法在跨語言檢索中的應(yīng)用。針對(duì)這個(gè)問題，本文在系統(tǒng)介紹語言模型檢索方法的基礎(chǔ)上，將語言模型方法擴(kuò)展到跨語言檢索任務(wù)中，介紹了兩個(gè)跨語言檢索模型：統(tǒng)計(jì)翻譯模型和跨語言相關(guān)語言模型。
　　 未登陸詞問題與翻譯歧義問題的存在是

3、制約查詢翻譯方法的主要因素。針對(duì)這兩個(gè)問題，本文給出了相應(yīng)的解決策略：
　　 (1)基于Web的未登錄詞翻譯提取。傳統(tǒng)的翻譯提取方法大都基于共現(xiàn)統(tǒng)計(jì)的，其本質(zhì)是利用候選詞與待翻譯未登錄詞之間的共現(xiàn)次數(shù)等統(tǒng)計(jì)信息來衡量二者之間互譯的可能性，這類方法在訓(xùn)練樣本足夠時(shí)可以很好的工作。然而目前主流搜索引擎返回的結(jié)果中僅包含少量的摘要信息，通常只有幾十或幾百字，在這么小的樣本集上做統(tǒng)計(jì)，很難保證統(tǒng)計(jì)結(jié)果的可靠性。為了解決這個(gè)問題，本文中引