改進(jìn)的基于串匹配的中文文檔復(fù)制檢測(cè)方法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，人們可以從網(wǎng)絡(luò)上獲得大量的數(shù)字文檔。然而，網(wǎng)絡(luò)就像是一把利弊參半的雙刃劍：一方面，它為研究人員了解相關(guān)技術(shù)提供了大量的信息資源，有利于科研活動(dòng)的開(kāi)展；另一方面，它為剽竊者占有他人的研究成果創(chuàng)造了便利的條件，助長(zhǎng)了抄襲剽竊等不良的學(xué)術(shù)風(fēng)氣。與傳統(tǒng)的數(shù)字水印技術(shù)不同，文檔復(fù)制檢測(cè)技術(shù)不需要利用特殊的編碼方式在數(shù)字文檔中嵌入額外信息，而是通過(guò)提取文檔自身的特征來(lái)檢測(cè)抄襲行為。
　　現(xiàn)有的文檔復(fù)制檢測(cè)方法根據(jù)文檔特

2、征提取方式的不同分為三類：基于串匹配的檢測(cè)方法、基于特征向量的檢測(cè)方法和基于文本塊語(yǔ)義表示的檢測(cè)方法，其中第一類是研究最多、應(yīng)用最廣的檢測(cè)方法。針對(duì)目前基于串匹配的檢測(cè)方法在安全性方面存在的不足，本文借鑒數(shù)字水印和信息隱藏中應(yīng)用比較成熟的同義詞替換處理，提出了兩種改進(jìn)的基于串匹配的檢測(cè)方法。
　　1)基于同義詞替換與N-gram的檢測(cè)方法。該方法給出了一種改進(jìn)的指紋提取算法，指紋提取中運(yùn)用了中文分詞、關(guān)鍵詞選擇、同義詞替換等處理，

3、提高了復(fù)制檢測(cè)的安全性；在指紋存儲(chǔ)中使用了倒排索引結(jié)構(gòu)，提高了復(fù)制檢測(cè)的速度。通過(guò)實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，提出的方法可以有效地檢測(cè)同義詞替換的抄襲文檔和簡(jiǎn)單句子修改的抄襲文檔。
　　2)基于多文本塊指紋提取的檢測(cè)方法。該方法分析了現(xiàn)有的文本塊選取策略，選取句子文本塊和K-words文本塊進(jìn)行文檔復(fù)制檢測(cè)。在句子文本塊的指紋提取中，主要運(yùn)用了關(guān)鍵詞選擇、哈希值處理、消息摘要算法(MD5)等；在K-words文本塊的指紋提取中，主要涉及同義詞替