基于向量空間模型的中文文本相似度算法研究.pdf

1、當(dāng)今世界以信息技術(shù)為代表的現(xiàn)代科技日新月異，并正在對(duì)人類社會(huì)產(chǎn)生著不可估量的影響。在現(xiàn)實(shí)世界中，文本是最重要的信息載體，計(jì)算機(jī)對(duì)文本相似度的計(jì)算是信息處理中一個(gè)非?；A(chǔ)而又關(guān)鍵的問(wèn)題。在信息檢索、信息過(guò)濾、文本分類、知識(shí)挖掘、機(jī)器翻譯等諸多領(lǐng)域，文本相似度計(jì)算都有著廣泛的應(yīng)用。由于中文是“意合型”而非“形合型”的語(yǔ)言，計(jì)算機(jī)對(duì)于中文的處理相對(duì)于其他語(yǔ)言存在更大的難度，因此中文文本相似度的計(jì)算一直是一個(gè)研究熱點(diǎn)和難點(diǎn)。
　　本論文研

2、究中文文本的相似度計(jì)算問(wèn)題，以提出一種高性能的中文文本相似度算法為目標(biāo)，主要有如下幾個(gè)方面的研究成果：
　　1.對(duì)現(xiàn)有的文本相似度計(jì)算技術(shù)進(jìn)行了研究和分析，其中重點(diǎn)研究向量空間模型和計(jì)算機(jī)對(duì)中文文本的語(yǔ)義分析技術(shù)。
　　2.結(jié)合空間向量模型的文本向量化思想以及中文語(yǔ)義分析技術(shù)，提出一種融合了語(yǔ)料統(tǒng)計(jì)和語(yǔ)義分析的中文文本相似度計(jì)算方法。新算法采用漢語(yǔ)中的語(yǔ)義主題作為向量空間的維度，將對(duì)中文文本的語(yǔ)義分析融合在文本結(jié)構(gòu)化模型中，

3、以克服傳統(tǒng)向量空間模型在語(yǔ)義分析層面的不足。
　　3.以科技論文的中文摘要作為測(cè)試集，通過(guò)文本相似度計(jì)算實(shí)驗(yàn)對(duì)新算法的效果進(jìn)行了評(píng)估。實(shí)驗(yàn)結(jié)果表明：在同等條件下，結(jié)合了中文語(yǔ)義分析的新算法對(duì)中文文本相似度的計(jì)算結(jié)果比單純采用語(yǔ)料統(tǒng)計(jì)的傳統(tǒng)算法更合理。
　　4.基于新算法實(shí)現(xiàn)了中文文本相似度計(jì)算系統(tǒng)CN-SIM，該系統(tǒng)已經(jīng)在實(shí)際的工程項(xiàng)目中獲得了應(yīng)用并取得了良好的效果。
　　本課題的研究及其成果在中文信息處理的許多領(lǐng)域中