基于哈希編碼的文本拷貝檢測(cè)算法優(yōu)化與實(shí)現(xiàn).pdf

1、隨著社交網(wǎng)站及各種服務(wù)型網(wǎng)站的迅速興起，各類用戶生成內(nèi)容(UGC)大量生成，而這些內(nèi)容是用來進(jìn)行數(shù)據(jù)挖掘、情感傾向分析等工作的重要數(shù)據(jù)來源。然而，由于這些內(nèi)容中充斥著大量重復(fù)信息，這對(duì)數(shù)據(jù)挖掘等工作帶來極大的挑戰(zhàn)和性能瓶頸。因此，如何通過對(duì)文本進(jìn)行拷貝檢測(cè)，從而快速有效的提取出文本中的重復(fù)內(nèi)容成為一個(gè)亟待解決的問題。在進(jìn)行文本拷貝檢測(cè)的過程中，首先要對(duì)文本進(jìn)行特征提取和向量化操作。本文中將一個(gè)漢字或一個(gè)英文單詞作為文本的一維特征，從而將

2、文本轉(zhuǎn)化為高維空間中的向量。由于計(jì)算量的限制，直接進(jìn)行文本向量的比較在大規(guī)模文本下是不可行的，需要找到一種快速的計(jì)算方法。
　　基于哈希的算法由于其簡(jiǎn)單有效、計(jì)算快速的特點(diǎn)，在文本拷貝檢測(cè)的研究中應(yīng)用十分廣泛?；诠５奈谋究截悪z測(cè)算法的一般步驟是將代表原始文本的高維向量映射到低維的哈?？臻g中，利用所得哈希編碼距離來反映原始文本的相似度，因此，基于哈希的算法本質(zhì)上是一種降維方法。
　　本文提出了一種新的文本拷貝檢測(cè)算法，能夠

3、快速有效的完成微博、評(píng)論等短文本的文本拷貝檢測(cè)任務(wù)，該算法為優(yōu)化qSign算法。本文首先介紹了基本的qSign算法以及目前針對(duì)qSign算法的一種優(yōu)化，并指出了其優(yōu)化過程中存在的三個(gè)問題。本文提出的優(yōu)化qSign算法能有效的解決這三個(gè)問題，并且能夠取得比目前存在的文本拷貝檢測(cè)算法更好的實(shí)驗(yàn)效果。優(yōu)化qSign算法需要解決一個(gè)大規(guī)模高維非線性優(yōu)化問題，難以對(duì)其直接進(jìn)行優(yōu)化求解，因此，采用合適的算法對(duì)該優(yōu)化問題進(jìn)行求解是優(yōu)化qSign算法面

4、對(duì)的主要難點(diǎn)。本文實(shí)現(xiàn)了馬爾科夫鏈蒙特卡洛算法，通過聚類的方式間接解決了該優(yōu)化問題，取得了不錯(cuò)的結(jié)果。最后，本文介紹了幾種經(jīng)典的基于哈希編碼的文本拷貝檢測(cè)算法，包括局部敏感哈希、最小哈希、譜哈希以及語義哈希，并介紹了每種哈希算法的代碼實(shí)現(xiàn)。
　　本文共進(jìn)行了三組實(shí)驗(yàn)，分別比較了各種拷貝檢測(cè)算法的實(shí)驗(yàn)對(duì)比、qSign算法及其優(yōu)化系列的實(shí)驗(yàn)對(duì)比以及本文提出的優(yōu)化算法中不同參數(shù)選擇的實(shí)驗(yàn)結(jié)果對(duì)比。實(shí)驗(yàn)結(jié)果表明，本文提出的優(yōu)化算法只需進(jìn)行