基于語義分析的文本相似度算法研究.pdf

1、隨著計算機信息技術(shù)的飛速發(fā)展，文本相似度逐漸成為信息處理領(lǐng)域的研究熱點。目前基于語義分析的文本相似度算法一般都是利用語義詞典對文本中的詞匯進行分析，并沒有考查詞匯對文本主旨表達所做的貢獻值，因此計算準確率較低。針對這個缺陷，本文提出了一種基于語義分析的文本相似度計算方法，該方法通過考查詞匯語義權(quán)值對文本進行特征提取，并通過特征的語義權(quán)值來計算文本相似度。
　　本文首先研究了文本內(nèi)部詞匯的分布規(guī)律和詞匯之間的關(guān)系，提出了一種基于語義

2、分析和語義關(guān)系網(wǎng)絡(luò)的文本特征提取算法。針對目前算法沒有考查詞匯對文本主旨表達所做貢獻值的不足，該算法利用詞匯語義相似度將文本抽象表示為一個語義關(guān)系網(wǎng)絡(luò)，通過對網(wǎng)絡(luò)中節(jié)點的重要性評估得到相應(yīng)詞匯的語義權(quán)值，并根據(jù)語義權(quán)值的排序結(jié)果提取文本特征，實驗證明該算法提取的特征能夠很好的代表文本主旨。
　　本文接著研究了兩個文本特征集合之間的關(guān)系，提出了一種基于語義分析和二分圖最優(yōu)匹配的文本相似度算法。為了提高文本相似度計算的準確性，該算法考

3、查了特征詞匯在文本中的語義權(quán)值。該算法將兩個文本特征集合表示為二分圖的兩個部分，其中每個部分中的節(jié)點為相應(yīng)特征集合中的詞匯，并通過特征詞匯的語義權(quán)值和詞匯間的語義相似度得到二分圖中邊的權(quán)值，繼而利用二分圖最優(yōu)匹配算法得到最優(yōu)匹配，最終根據(jù)匹配結(jié)果計算兩個文本的相似度，實驗證明該算法在一定程度上提高了文本相似度計算的正確性。
　　在上述研究的基礎(chǔ)之上，本文對所提出的兩個算法分別進行了實驗驗證。實驗使用了大量文本作為數(shù)據(jù)集，并將實驗結(jié)