基于語義的文本相似度算法研究及應(yīng)用.pdf

1、互聯(lián)網(wǎng)時(shí)代的快速發(fā)展,科技日新月異的進(jìn)步,越來越多的信息充斥在網(wǎng)絡(luò)平臺(tái)上,網(wǎng)絡(luò)平臺(tái)上的數(shù)據(jù)表現(xiàn)出級(jí)數(shù)增長的勢頭,文本在眾多信息載體中無疑是互聯(lián)網(wǎng)上主要的載體形式,導(dǎo)致對(duì)文本的挖掘研究逐漸成為計(jì)算機(jī)領(lǐng)域的熱點(diǎn)。文本分詞、文本詞性標(biāo)注和文本表示等相關(guān)的基礎(chǔ)研究都是為了最終的文本相似度計(jì)算,而文本的相似度計(jì)算則是眾多上層文本應(yīng)用領(lǐng)域進(jìn)行深度研究的基礎(chǔ),文本相似度算法的研究作為聯(lián)系基礎(chǔ)研究和上層應(yīng)用的紐帶,已經(jīng)在自然語言處理、文本分類、文本聚類

2、、問答系統(tǒng)、信息檢索、搜索引擎等眾多文本挖掘領(lǐng)域中嶄露頭角,得到了極其廣泛的應(yīng)用。
　　文本相似度算法是指采用一定的策略來比較兩個(gè)文本之間的相似程度。目前文本相似度算法主要朝著兩個(gè)方向發(fā)展:其一為基于向量空間模型的余弦相似度算法;其二為基于語義詞典的語義相似度算法。這兩種做法在計(jì)算文本之間相似度時(shí)都具有一定的意義,但是都缺乏對(duì)文本自身特性(文本篇幅和文本語言特征等)的深入分析,余弦向量法相對(duì)適用于大篇幅文本,然而該相似度算法中各個(gè)

3、關(guān)鍵詞的關(guān)聯(lián)性卻被全盤忽略;語義詞典法受詞典容量的制約難以較為準(zhǔn)確地反映文本之間的相似度。
　　不同文本應(yīng)用領(lǐng)域中文本的特性存在著一定的差異(文本篇幅存在長、短之分,文本語言也存在中、英文之分),本文從實(shí)際的文本應(yīng)用出發(fā),展開對(duì)不同篇幅、不同語言文本之間相似度計(jì)算的研究。針對(duì)大篇幅文本中關(guān)鍵詞數(shù)目豐富而關(guān)鍵詞存在多義性的特性,對(duì)文本進(jìn)行語義單元?jiǎng)澐?語義單元中關(guān)鍵詞間語義相關(guān)性采用不同的策略(關(guān)鍵詞共現(xiàn)頻率投票因子和關(guān)鍵詞詞性權(quán)重

4、等)獲得;針對(duì)不同語言特性(中文和英文)的小篇幅文本,對(duì)文本以詞性為標(biāo)識(shí)進(jìn)行詞性向量的劃分,針對(duì)不同語言特性的文本,關(guān)鍵詞語義化權(quán)值的定義也采用不同策略。
　　本文主要研究長-長文本、短-短文本和短-長文本之間的相似度比較,并將長-長文本之間的相似度比較算法應(yīng)用于文本分類領(lǐng)域,短-短文本相似度比較算法應(yīng)用于FAQ系統(tǒng)領(lǐng)域,短-長文本相似度比較算法應(yīng)用于搜索引擎領(lǐng)域,實(shí)驗(yàn)表明,改進(jìn)的語義相似度算法使得文本分類的準(zhǔn)確率、句子相似度計(jì)算