基于漢字部件直方圖的文本復制檢測技術(shù)研究.pdf

1、文本復制檢測技術(shù)是文本相似度計算的一項基礎應用，在網(wǎng)頁去重、知識產(chǎn)權(quán)保護、搜索引擎、數(shù)字圖書館等方面發(fā)揮著重要作用。但是針對中文文本的復制檢測技術(shù)起步較晚，且由于中文文本的精深復雜，中文文本復制檢測技術(shù)更難于實現(xiàn)。因此，該領域值得我們進一步開展研究和探討。
　　本文首先對該領域內(nèi)基于字符匹配和基于詞頻統(tǒng)計的兩類復制檢測算法做了較為詳細的論述，歸納和總結(jié)了現(xiàn)有算法各自的特點和不足。針對其文本特征表示向量高維且稀疏、相似度計算復雜、資

2、源利用率低等問題，本文提出了一種新的基于漢字部件直方圖的文本復制檢測模型。論文的主要工作如下:
　　1)提出了以漢字部件直方圖作為文本指紋特征的提取方法。首先根據(jù)漢字的結(jié)構(gòu)特征和漢字的數(shù)學表達式理論將整個文本中出現(xiàn)的所有漢字進行部件拆分，接著分別對每種漢字部件進行計數(shù)統(tǒng)計，通過概率計算公式得到每種漢字部件在該文本中出現(xiàn)的概率，然后以漢字的部件編號為橫坐標，以部件概率為縱坐標，做出統(tǒng)計圖，稱為文本漢字部件直方圖，最終以此漢字部件直方

3、圖作為該文本的指紋特征標識。
　　2)提出了通過計算部件直方圖間的距離匹配值作為待檢測文本之間復制檢測結(jié)果的判斷標準。本文分別設計了4種距離對比標準進行文本部件直方圖間的距離匹配值運算，并通過實驗分析最終選取了最合適的巴氏距離作為衡量直方圖相似度距離的計算公式。
　　3)采集了一定規(guī)模的數(shù)據(jù)源進行算法的模擬和實現(xiàn)。本文通過搜集400個詞條文檔作為數(shù)據(jù)源開展實驗，實驗結(jié)果表明基于漢字部件直方圖的文本復制檢測算法具有較好的查準率