跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算研究.pdf

1、跨語(yǔ)言詞匯語(yǔ)義相似度反映的是來(lái)自不同語(yǔ)言的詞語(yǔ)之間的語(yǔ)義相似程度，它是跨語(yǔ)言信息獲取系統(tǒng)的一個(gè)基本組成部分。隨著近年來(lái)網(wǎng)絡(luò)上多語(yǔ)言資源的增多，跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算的研究逐漸得到了重視。本文致力于中英文詞匯語(yǔ)義相似度的研究，證明了HowNet可以用于跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算，并且平行語(yǔ)料庫(kù)中的共現(xiàn)信息對(duì)跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算的性能有較好的提升作用。
　　 本文的跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算方法以HowNet作為跨語(yǔ)言知識(shí)庫(kù)，基于

2、HowNet的跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算方法與單語(yǔ)詞匯語(yǔ)義相似度計(jì)算方法類(lèi)似，以HowNet中的概念定義和義原的樹(shù)形層次結(jié)構(gòu)作為計(jì)算基礎(chǔ)，通過(guò)把中英文詞語(yǔ)轉(zhuǎn)化為義原形式，之后計(jì)算義原以及詞語(yǔ)之間的語(yǔ)義相似度。評(píng)測(cè)結(jié)果表明HowNet可用于跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算，但是HowNet中的一些詞語(yǔ)的定義不夠準(zhǔn)確，對(duì)算法的性能產(chǎn)生了不良影響。
　　 為進(jìn)一步提高跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算的準(zhǔn)確性，本文引入平行語(yǔ)料庫(kù)作為補(bǔ)充數(shù)據(jù)源，首先抽取詞

3、語(yǔ)在語(yǔ)料庫(kù)中的上下文詞語(yǔ)，之后根據(jù)詞語(yǔ)的PMI信息對(duì)上下文詞語(yǔ)進(jìn)行排序，并采用多種算法計(jì)算上下文詞語(yǔ)之間的語(yǔ)義相似度，在把基于HowNet的方法與基于平行語(yǔ)料庫(kù)的方法進(jìn)行融合之后，跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算的準(zhǔn)確率得到了較大的提升。實(shí)驗(yàn)結(jié)果表明通過(guò)增加平行語(yǔ)料庫(kù)的規(guī)模，跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算的性能還會(huì)進(jìn)一步提高。
　　 跨語(yǔ)言詞匯語(yǔ)義相似度計(jì)算的評(píng)測(cè)采用與人工判斷結(jié)果進(jìn)行比較的方法，但是目前還沒(méi)有可用的標(biāo)準(zhǔn)評(píng)測(cè)集。通過(guò)對(duì)英文詞匯