基于n-gram的中文文本復(fù)制檢測研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的興起和普及，文本復(fù)制檢測技術(shù)成為自然語言處理領(lǐng)域興起的一個(gè)研究熱點(diǎn)，它在保護(hù)知識產(chǎn)權(quán)方面的重要性日益明顯。英文文本復(fù)制檢測技術(shù)發(fā)展較早，但由于中、英文語言天然存在差異，因此諸多英文自然語言復(fù)制檢測技術(shù)并不完全適用于中文。如何針對中文語言的特點(diǎn)設(shè)計(jì)出有效的檢測方法成為了日益被關(guān)切的問題。
　　抄襲者手段眾多，包括對句子進(jìn)行增刪、同義詞替換甚至語句重述。不同的抄襲方法各有特點(diǎn)，采用單一的方法往往無法達(dá)到理想的檢測效果。

2、目前復(fù)制檢測受制于自然語言處理技術(shù)發(fā)展水平，無法真正深入到語義?；谧址ヅ浜突谠~頻統(tǒng)計(jì)是復(fù)制檢測中最常用的兩種方法。本文主要以中文自然語言為研究對象，提出了一種統(tǒng)計(jì)任意長度n-gram頻率的方法。針對常見的抄襲現(xiàn)象，分別在詞匯片段、同義詞替換以及文本指紋方面展開了研究，主要研究成果如下:
　　(1)根據(jù)中文詞長的特點(diǎn)，針對最常見的二字詞提出了一種基于bigram的二級變長索引。該方法使用長度為2的滑動窗口，以字為單位對中文文

3、本進(jìn)行切分。利用漢字編碼將漢字映射到索引的相關(guān)位置，在保證檢索效果的情況下，極大地縮減了索引空間。同時(shí)利用地址編碼的存放特點(diǎn)，使用高效的集合算法，實(shí)現(xiàn)對任意長度n-gram的檢索和頻率統(tǒng)計(jì)。同時(shí)，當(dāng)文本庫擴(kuò)展時(shí)，索引無需重新構(gòu)建。
　　(2)使用Ferret方法，通過變換檢測單元長度，并計(jì)算各長度下的復(fù)制檢測準(zhǔn)確率、召回率等指標(biāo)，確定了適合中文的最佳片段長度。在此基礎(chǔ)上，提出了一種基于核心片段中心距離的中文文本復(fù)制檢測方法。使用該

4、方法提出的重疊度計(jì)算公式，可進(jìn)一步提高基于片段匹配的中文文本復(fù)制檢測效果。
　　(3)現(xiàn)有的同義詞復(fù)制檢測方法都是基于單個(gè)詞語進(jìn)行同義詞擴(kuò)展，忽視了詞語在真實(shí)語言環(huán)境下的習(xí)慣搭配。針對這種情況，本文提出了一種基于同義詞搭配的擴(kuò)展方法。采用對詞語搭配進(jìn)行先擴(kuò)展再過濾的方法，大大縮小了擴(kuò)展集的規(guī)模，同時(shí)降低了檢測噪音。以此為基礎(chǔ)，提出了一種基于同義詞搭配的重疊度計(jì)算方法。實(shí)驗(yàn)表明，該方法對于同義詞檢測有良好的效果。
　　(4)利