基于文本挖掘技術(shù)的論文抄襲判定研究.pdf

1、自20世紀(jì)90年代學(xué)術(shù)界提出反對學(xué)術(shù)腐敗以來，被揭露出來的學(xué)術(shù)腐敗事件最多的是學(xué)術(shù)造假，其中又以學(xué)術(shù)著作和論文的抄襲為最。解決論文抄襲的判定問題不但對于保護(hù)知識產(chǎn)權(quán)、提高學(xué)術(shù)論文質(zhì)量、凈化學(xué)術(shù)領(lǐng)域、防止學(xué)術(shù)腐敗都有很重要的意義，而且可以有效的防止一稿多投和減輕審稿人員的工作負(fù)擔(dān)。 文本挖掘是數(shù)據(jù)挖掘研究面向非結(jié)構(gòu)化和半結(jié)構(gòu)化文本數(shù)據(jù)的自然延伸。人們?nèi)粘Ｉ詈凸ぷ髦薪佑|到的信息有大多數(shù)都是以文本形式出現(xiàn)的，文本挖掘是從文本或文本集

2、中發(fā)現(xiàn)和挖掘歸納性的有效、創(chuàng)新、有用和最終可理解的模式、模型、趨勢、規(guī)則等知識的非平凡過程。文本挖掘是利用智能算法，并結(jié)合文字處理技術(shù)，分析大量的非結(jié)構(gòu)化文本源(如文檔、電子表格、電子郵件、書籍、網(wǎng)頁等)抽取或標(biāo)記關(guān)鍵字概念，文字間的關(guān)系，并按照內(nèi)容對分檔進(jìn)行分類，獲取有用的知識和信息。 如何將文本挖掘中的主要技術(shù)應(yīng)用于論文抄襲判定中，這是本文的主要研究目的。主要研究成果工作如下： (1)依據(jù)論文抄襲界定的法律，分析歸納

3、了論文抄襲的類型和論文抄襲判定的主要技術(shù)，包括數(shù)字指紋技術(shù)和詞頻統(tǒng)計技術(shù)； (2)探討和研究了文本挖掘中涉及的信息檢索與信息抽取技術(shù)以及文本挖掘的主要方法(關(guān)聯(lián)分析、文本分類、文本聚類、自動文摘等)； (3)在分析各種文本相似度計算主要方法的基礎(chǔ)上，設(shè)計和實(shí)現(xiàn)了基于文本分類的文檔相似度計算和基于段落詞頻統(tǒng)計的文檔相似度計算，在實(shí)際測試中，效果較好； (4)結(jié)合全文相似度計算、段落相似度計算和語句相似度計算的技巧，