改進的基于串匹配的中文文檔復制檢測方法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，人們可以從網(wǎng)絡(luò)上獲得大量的數(shù)字文檔。然而，網(wǎng)絡(luò)就像是一把利弊參半的雙刃劍：一方面，它為研究人員了解相關(guān)技術(shù)提供了大量的信息資源，有利于科研活動的開展；另一方面，它為剽竊者占有他人的研究成果創(chuàng)造了便利的條件，助長了抄襲剽竊等不良的學術(shù)風氣。與傳統(tǒng)的數(shù)字水印技術(shù)不同，文檔復制檢測技術(shù)不需要利用特殊的編碼方式在數(shù)字文檔中嵌入額外信息，而是通過提取文檔自身的特征來檢測抄襲行為。
　　現(xiàn)有的文檔復制檢測方法根據(jù)文檔特

2、征提取方式的不同分為三類：基于串匹配的檢測方法、基于特征向量的檢測方法和基于文本塊語義表示的檢測方法，其中第一類是研究最多、應(yīng)用最廣的檢測方法。針對目前基于串匹配的檢測方法在安全性方面存在的不足，本文借鑒數(shù)字水印和信息隱藏中應(yīng)用比較成熟的同義詞替換處理，提出了兩種改進的基于串匹配的檢測方法。
　　1)基于同義詞替換與N-gram的檢測方法。該方法給出了一種改進的指紋提取算法，指紋提取中運用了中文分詞、關(guān)鍵詞選擇、同義詞替換等處理，

3、提高了復制檢測的安全性；在指紋存儲中使用了倒排索引結(jié)構(gòu)，提高了復制檢測的速度。通過實驗對比發(fā)現(xiàn)，提出的方法可以有效地檢測同義詞替換的抄襲文檔和簡單句子修改的抄襲文檔。
　　2)基于多文本塊指紋提取的檢測方法。該方法分析了現(xiàn)有的文本塊選取策略，選取句子文本塊和K-words文本塊進行文檔復制檢測。在句子文本塊的指紋提取中，主要運用了關(guān)鍵詞選擇、哈希值處理、消息摘要算法(MD5)等；在K-words文本塊的指紋提取中，主要涉及同義詞替