基于元搜索引擎的文本復(fù)制檢測方法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、通信技術(shù)和網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，互聯(lián)網(wǎng)已成為人們獲取信息的一種重要途徑。網(wǎng)絡(luò)大數(shù)據(jù)背景下，互聯(lián)網(wǎng)中文本數(shù)據(jù)的數(shù)量和價(jià)值呈指數(shù)增長，復(fù)制網(wǎng)絡(luò)中文本的現(xiàn)象越來越多，相同和近似文本也越來越多，不僅極大的浪費(fèi)了網(wǎng)絡(luò)存儲(chǔ)空間、降低檢索效率，而且不利于電子文本知識(shí)產(chǎn)權(quán)的保護(hù)，如何快速檢測文本是否復(fù)制于因特網(wǎng)文本已成為急需解決的問題。
　　本文在對(duì)已有文本復(fù)制檢測方法進(jìn)行分析研究的基礎(chǔ)上，提出了一種基于元搜索引擎的文本復(fù)制檢測方法

2、，本文主要工作包括:
　　首先對(duì)已有文本復(fù)制檢測方法進(jìn)行研究，主要包括文本復(fù)制檢測的基本原理、典型的文本復(fù)制檢測系統(tǒng)的實(shí)現(xiàn)方法、通用的文本復(fù)制的基本流程，并對(duì)實(shí)現(xiàn)文本復(fù)制檢測常用到的關(guān)鍵技術(shù)以及關(guān)鍵問題的解決策略進(jìn)行分析研究，主要包括中文文本的預(yù)處理技術(shù)，如中文文本的分詞、詞性標(biāo)注，文本塊的選擇策略和文本特征的選擇策略等，為設(shè)計(jì)新的文本復(fù)制檢測系統(tǒng)中的關(guān)鍵問題提供了解決思路。
　　然后結(jié)合當(dāng)前復(fù)制檢測網(wǎng)絡(luò)文本的行為越來越多的

3、狀況，基于元搜索引擎的優(yōu)勢，提出了一種基于元搜索引擎的文本復(fù)制檢測方法。其中，為減少請(qǐng)求元搜索引擎的次數(shù)以提高系統(tǒng)效率，結(jié)合詞性信息改進(jìn)TF-ISF算法抽取文本特征句子;為獲取更加全面的疑似復(fù)制文本，以特征句子的線索詞作為請(qǐng)求元搜索引擎的查詢詞獲取網(wǎng)絡(luò)在線參考文本集;由于傳統(tǒng)基于LCS的句子相似度計(jì)算方法忽略了最長公共子序列數(shù)量對(duì)句子相似度的影響，結(jié)合最長公共子序列數(shù)量的改進(jìn)LCS句子相似度計(jì)算方法。
　　最后設(shè)計(jì)文本復(fù)制檢測系統(tǒng)