基于Web的雙語詞匯構(gòu)建關(guān)鍵技術(shù)研究.pdf

1、雙語詞匯的構(gòu)建是自然語言處理領(lǐng)域一項(xiàng)很基礎(chǔ)的工作。雙語詞匯的好壞直接影響到機(jī)器翻譯、跨語言檢索等自然語言處理系統(tǒng)的性能。像人名、地名、機(jī)構(gòu)名、技術(shù)術(shù)語以及各類新詞經(jīng)常出現(xiàn)，且無論多么龐大的雙語詞典也無法將這些詞語收錄完全，這些詞語稱之為未登錄詞。隨著時(shí)間的變化，不斷有新的未登錄詞出現(xiàn)。在機(jī)器翻譯、跨語言檢索等自然語言處理系統(tǒng)中，為了正確翻譯這類詞語，需要不斷的更新系統(tǒng)的翻譯詞典。 總的來說雙語詞匯的構(gòu)建需要解決兩方面的技術(shù)：一，

2、未登錄詞的獲??；二，未登錄詞譯文的獲取。本文將在如何解決這兩類技術(shù)問題上做一些研究工作。 本文實(shí)踐了基于基本短語識(shí)別的未登錄詞獲取技術(shù)。首先標(biāo)注出文本中的基本短語，然后對(duì)于不在翻譯詞典中的詞語視其為未登錄詞候選。對(duì)于基本短語的識(shí)別，采用了基于組塊模型的統(tǒng)計(jì)識(shí)別方法?；径陶Z識(shí)別實(shí)驗(yàn)所處理的語言為英語，但我們這一方法是語言獨(dú)立的，可以移植到其他語言。 未登錄詞中含有大量音譯詞。對(duì)音譯詞譯文的獲取可以采用特殊的方法處理，如運(yùn)

3、用專門的音譯模型。但這首先要做的工作是識(shí)別音譯詞。本文提出了兩個(gè)統(tǒng)計(jì)模型，用于音譯詞識(shí)別。實(shí)驗(yàn)顯示，這兩個(gè)模型的識(shí)別精確率達(dá)到97％以上。 同樣，我們對(duì)直譯詞意譯詞的識(shí)別也做了研究。本文以最大熵模型作為分類器，以詞語的構(gòu)詞特征作為分類特征，通過實(shí)驗(yàn)得出了一些有用的結(jié)論。 最后，本文對(duì)如何從可比較網(wǎng)頁中獲取未登錄詞譯文做了研究。依據(jù)源語言詞與目標(biāo)語言詞的上下文相似性大小來判斷是否為互譯的翻譯對(duì)。本文分別運(yùn)用了DICE相關(guān)系