文本語(yǔ)義相似度計(jì)算方法研究.pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，文本數(shù)據(jù)的數(shù)量大幅度地增長(zhǎng)，但是這類數(shù)據(jù)對(duì)于計(jì)算機(jī)來(lái)說(shuō)難于理解和使用，解決這一問(wèn)題的途徑之一是借助語(yǔ)義相似度計(jì)算。遺憾的是，現(xiàn)有的語(yǔ)義相似度計(jì)算研究成果在應(yīng)用時(shí)大都需要較多的附加信息，例如大規(guī)模語(yǔ)料庫(kù)以及完備本體等，這些附加信息在實(shí)際應(yīng)用領(lǐng)域中通常難以獲得，因此成果的應(yīng)用范圍受到了一定的限制;此外，迄今為止研究是在不同時(shí)期、不同前提下割裂地進(jìn)行的，對(duì)概念、句子和文檔等研究對(duì)象的語(yǔ)義相似度計(jì)算研究沒(méi)有形成統(tǒng)一

2、的理論體系。針對(duì)以上問(wèn)題，論文在不完備附加信息前提下，從概念、句子和文檔三個(gè)對(duì)象層面研究文本數(shù)據(jù)的語(yǔ)義相似度和相關(guān)度計(jì)算，計(jì)算過(guò)程包括語(yǔ)義提取、語(yǔ)義描述、語(yǔ)義相似度計(jì)算三個(gè)主要階段。各研究對(duì)象與本體的語(yǔ)義關(guān)系將基于本體結(jié)構(gòu)進(jìn)行提取，用研究對(duì)象在本體中的語(yǔ)義“指紋”描述對(duì)象本身，構(gòu)建基于本體結(jié)構(gòu)的語(yǔ)義向量，從而進(jìn)行語(yǔ)義相似度計(jì)算。
　　研究成果主要包括以下三方面:
　　1.提出了一種基于樹(shù)結(jié)構(gòu)和以樹(shù)為主體的圖結(jié)構(gòu)的相似度和相關(guān)

3、度計(jì)算方法。通過(guò)分析本體的樹(shù)結(jié)構(gòu)，可以發(fā)現(xiàn)概念節(jié)點(diǎn)的祖先概念節(jié)點(diǎn)和后代概念節(jié)點(diǎn)與當(dāng)前概念節(jié)點(diǎn)語(yǔ)義相關(guān)，據(jù)此特點(diǎn)可以找出概念節(jié)點(diǎn)在本體樹(shù)中的相關(guān)概念節(jié)點(diǎn);根據(jù)概念節(jié)點(diǎn)在本體中所處位置的結(jié)構(gòu)信息計(jì)算概念節(jié)點(diǎn)密度，實(shí)現(xiàn)基于樹(shù)結(jié)構(gòu)本體的概念語(yǔ)義提取，語(yǔ)義描述和語(yǔ)義相似度計(jì)算。在樹(shù)結(jié)構(gòu)本體相似度計(jì)算方法的基礎(chǔ)上，進(jìn)一步提出了基于以樹(shù)為主體的圖結(jié)構(gòu)的概念相關(guān)度計(jì)算方法。針對(duì)特定語(yǔ)義相關(guān)度計(jì)算需要，將以樹(shù)為主體的圖結(jié)構(gòu)本體轉(zhuǎn)化為樹(shù)結(jié)構(gòu)本體，計(jì)算概念節(jié)

4、點(diǎn)間的語(yǔ)義相關(guān)度。本方法在領(lǐng)域數(shù)據(jù)中得到很好的應(yīng)用，在標(biāo)準(zhǔn)數(shù)據(jù)集WordNet上的實(shí)驗(yàn)也證明:與經(jīng)典的計(jì)算方法相比，在不完備附加信息背景下，本方法獲得很好的皮爾森線性相關(guān)系數(shù)值（Correlation）。
　　2.提出了一種基于樹(shù)結(jié)構(gòu)本體的句子相似度計(jì)算方法。利用本體概念與句子中關(guān)鍵詞之間建立的語(yǔ)義索引，構(gòu)建句子與本體間的直接和間接語(yǔ)義聯(lián)系，據(jù)此提取描述句子的語(yǔ)義向量，從而計(jì)算句子間的語(yǔ)義相似度。應(yīng)用微軟研究院的意譯語(yǔ)料庫(kù)（MSR

5、P）對(duì)本方法進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明:與相關(guān)的計(jì)算方法相比，本方法在不完備附加信息應(yīng)用前提下獲得了較好的準(zhǔn)確率和召回率。
　　3.提出了一種基于樹(shù)結(jié)構(gòu)本體的文檔相似度計(jì)算方法。除利用本體概念與文檔中的關(guān)鍵詞建立的語(yǔ)義索引來(lái)構(gòu)建文檔與本體間的直接和間接語(yǔ)義聯(lián)系外，還利用本體的層次結(jié)構(gòu)信息估算文檔關(guān)鍵詞的權(quán)重，據(jù)此構(gòu)建基于本體的文檔語(yǔ)義向量來(lái)計(jì)算文檔間的語(yǔ)義相似度。用Michael D.LEE50標(biāo)準(zhǔn)文檔相似度測(cè)試數(shù)據(jù)集進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)