漢語(yǔ)詞語(yǔ)及句子相似度算法研究與應(yīng)用.pdf

1、詞語(yǔ)和句子的相似度計(jì)算在信息檢索、文本分類(lèi)、問(wèn)答系統(tǒng)以及基于實(shí)例的機(jī)器翻譯等各領(lǐng)域中都有著廣泛的應(yīng)用。作為目前討論的重點(diǎn)，本文主要從語(yǔ)義的角度出發(fā)對(duì)基于“知網(wǎng)”的詞語(yǔ)及句子相似度計(jì)算方法進(jìn)行了深入的研究。
　　基于“知網(wǎng)”的詞語(yǔ)（句子）相似度計(jì)算通常是把義原（詞語(yǔ)）之間的最優(yōu)匹配對(duì)作為運(yùn)算的基本單位，最終的整體相似度可由每一部分的相似度值通過(guò)適當(dāng)?shù)募訖?quán)計(jì)算合成而來(lái)，這樣的做法往往會(huì)造成一些匹配對(duì)內(nèi)部信息的重復(fù)和結(jié)構(gòu)的不合理。本論文

2、正是針對(duì)該問(wèn)題，在深入分析“知網(wǎng)”體系結(jié)構(gòu)的基礎(chǔ)上，對(duì)詞語(yǔ)和句子的相似度計(jì)算以及詞義消歧做了創(chuàng)新性和探索性的研究。主要內(nèi)容為：
　　1．詳細(xì)研究了當(dāng)前基于“知網(wǎng)”的義原相似度計(jì)算方法。這類(lèi)義原相似度計(jì)算機(jī)制往往是通過(guò)計(jì)算兩個(gè)義原在上下位層次關(guān)系樹(shù)中的路徑距離來(lái)得到義原之間的相似度，沒(méi)有或者很少考慮義原在層次樹(shù)中的深度，本文綜合考慮了義原間的路徑距離以及義原層次樹(shù)的深度，從義原所包含的信息結(jié)點(diǎn)數(shù)量出發(fā)，得到了一種新的義原相似度計(jì)算方

3、法。
　　2．詳細(xì)研究了目前常用的詞語(yǔ)及句子相似度計(jì)算方法，并把討論的重點(diǎn)放在了基于“知網(wǎng)”的詞語(yǔ)及句子相似度計(jì)算上面。文章從信息論的角度出發(fā)，在上文所提出的義原相似度算法基礎(chǔ)上，分別對(duì)兩個(gè)義原集合之間的共有信息和差異信息進(jìn)行統(tǒng)計(jì)，并據(jù)此得出兩個(gè)義原集合之間的相似度，最終的詞語(yǔ)（句子）相似度計(jì)算是以義原集合為計(jì)算單位的。
　　3．研究了目前常用的詞義消歧算法的基本原理和具體方法。在“知網(wǎng)”提供的搭配實(shí)例以及上文中提出的句子相