基于主題域的文本相似度系統(tǒng)分析與設(shè)計.pdf

1、在科學(xué)技術(shù)發(fā)展的今天，人們可以通過網(wǎng)絡(luò)很便捷的獲得所需要的信息，網(wǎng)絡(luò)的普及，電子文檔本身具有的粘貼、復(fù)制功能，為一些不法分子提供了便利，它們通過對他人論文的添加、刪除、修改，來達到自己的目的。學(xué)術(shù)造假、學(xué)術(shù)剽竊、學(xué)術(shù)腐敗這些現(xiàn)象為學(xué)術(shù)的健康發(fā)展帶來了不良的影響。同時電子文獻成為人們獲取信息，共享信息的渠道，電子文檔的快速檢索、瀏覽和知識挖掘等技術(shù)得到了關(guān)注。如何快速準確的聚類相同或相似文檔，方便科研學(xué)術(shù)成果的快速傳播，為了解決上述需求及

2、技術(shù)的過程中，相近及相似性檢測問題成為信息理解及檢索的重要環(huán)節(jié)。如何實現(xiàn)對論文相似度的快速檢索及精確識別成為我們急需解決的問題。
　　文本相似度技術(shù)在檢測文檔是否抄襲、文檔分類、檢索相似文檔等方面應(yīng)用廣泛。格式轉(zhuǎn)化技術(shù)、文檔處理技術(shù)以及相似度計算算法的發(fā)展，為論文相似度檢測方法的研究提供了良好的基礎(chǔ)。不同的檢測方法會得到不同的結(jié)果，但至今仍然沒有一個公認的算法能夠達到令人滿意的程度。本文針對文本相似度系統(tǒng)，做了以下工作:首先對現(xiàn)有

3、的文本相似度系統(tǒng)做了研究，分析了現(xiàn)有算法的優(yōu)缺點。認真學(xué)習研究了文本相似度計算所需要的相關(guān)理論知識和技術(shù)方式。其次，設(shè)計了一個基于主題域的文本相似系統(tǒng)，針對論文特別是學(xué)術(shù)論文各部分的特點進行深入的分析，提取文檔的主題域，針對各個主題域的特點，采用了不同的相似度檢測算法，基于語義和基于句子的文本相似度檢測技術(shù)聯(lián)合使用，各個主題域并行檢測計算相似度。最后計算論文的加權(quán)相似度。最后，根據(jù)自己設(shè)計出來的系統(tǒng)進行反復(fù)實驗，與傳統(tǒng)的基于空間向量VS