基于多粒度偏好的網絡文本抄襲檢測系統(tǒng)的研究與實現(xiàn).pdf

1、隨著網絡時代的到來，人們獲取信息的方式從以前的報紙、雜志等發(fā)展到了現(xiàn)在的博客、論壇、微博等網絡途徑，人們可以隨時隨地的獲取最新的消息。人們對于優(yōu)質信息的需求也不斷的變大，因此許多新聞網站、博客牛人應運而生，一篇好的文章，在帶來巨大的閱讀量的同時還能帶來巨大的收益。與此同時，科技發(fā)展也讓搜索變得更為方便，抄襲盜用的成本也大大降低，因此，侵權問題時常發(fā)生，這不僅僅是對原創(chuàng)作者利益的侵害，而且在這種不道德的行為蔓延到整個行業(yè)后，對整個中國的創(chuàng)

2、新氛圍也會產生極為不利的影響。
　　基于以上背景，本文設計并實現(xiàn)了一個基于多粒度偏好的網絡文本抄襲檢測系統(tǒng)，該系統(tǒng)的主要功能在于根據(jù)用戶提交的文本或 URL，檢測網絡上是否存在抄襲與被抄襲現(xiàn)象，并生成相似度報告與相似文本來源占比圖表。該系統(tǒng)的用戶主要分為個人與企業(yè)，個人用戶使用系統(tǒng)為網絡文本的原創(chuàng)作者提供被抄襲證據(jù)，保護原創(chuàng)作者的權益；企業(yè)級用戶使用系統(tǒng)檢測企業(yè)站點文章是否存在抄襲其他站點文章的情況，避免企業(yè)因此陷入法律糾紛。

3、r>　　本文主要工作內容總結如下：
　　1)提出了一種基于《同義詞詞林》對傳統(tǒng)的基于空間向量的余弦算法進行改進的文本相似度算法，并從理論和實驗結果兩個方面對該算法可行性進行證實。
　　2)提出以多粒度的方式進行文本相似度檢測。其中，多粒度表現(xiàn)在網絡爬蟲與文本相似度計算兩個方面。具體表現(xiàn)分別為：根據(jù)文本類型的粒度選擇爬取相應的網絡站點文本，如技術類文本選擇主要爬取CSDN、新浪博客等技術型站點，新聞類文本主要爬取騰訊新聞等新聞

4、網站等；根據(jù)用戶選擇的檢測粒度調用不同的算法對文本進行相似度計算，如“快速檢測”粒度采用傳統(tǒng)的余弦算法，“普通檢測”粒度采用改進的余弦算法，“詳細檢測”粒度則采用基于語義理解的文本相似度算法。
　　3)根據(jù)文本聚類結果檢測系統(tǒng)中使用的文本相似度算法的性能，通過與傳統(tǒng)余弦算法比較P、R、F三個評估參數(shù)值，確保系統(tǒng)中使用的算法在文本相似度檢測方面能達到用戶的需求。
　　4)對系統(tǒng)的功能和性能方面進行評估，分析系統(tǒng)的優(yōu)勢以及不足之