程序代碼相似度中的代碼轉換技術的研究.pdf

1、程序代碼的分詞轉換技術是實現(xiàn)程序代碼相似度判別系統(tǒng)的一個重要技術，一個好的分詞轉換技術不僅可以提高相似度判別系統(tǒng)中對程序進行相似度計算的速度，還可以提高相似度計算的精度，這對相似度判別系統(tǒng)的發(fā)展具有重要的現(xiàn)實意義。 在程序代碼相似度判別系統(tǒng)中，程序代碼的分詞轉換技術得到了廣泛的應用。我們可以把一個程序看作一個文本串，然后再通過一定的文法分析將這個文本串轉換成描述程序基本信息的標記(token)串。所以對程序相似性的比較就轉變成比

2、較兩個程序的標記串。而比較標記串的過程就是程序代碼的分詞轉換的過程。 本研究首先介紹了關于程序代碼相似度判別技術，包括程序代碼相似度判別的定義與分類，國內外研究發(fā)展的現(xiàn)狀以及現(xiàn)有的程序代碼相似度判別系統(tǒng)的相關介紹。然后對程序代碼分詞轉換過程中所用到算法情況進行了介紹，包括分詞算法，字符串匹配算法等。 本研究設計了一個實驗系統(tǒng)，該實驗系統(tǒng)主要由四部分組成，第一部分，完成實驗系統(tǒng)對程序代碼的預處理及分詞功能，預處理即去掉那些

3、在程序中存在，但對相似度判別無影響的信息，如程序中的注釋語句、連續(xù)的空格、空行等，接著對預處理后的程序代碼進行分詞；第二部分，創(chuàng)建程序代碼轉換所需的詞表；第三部分，將程序代碼的預處理及分詞之后的程序采用字符串匹配算法轉換為字符串標識；第四部分是通過用戶界面可得到源程序代碼轉換后的結果輸出。 最后，通過一些實驗對該實驗系統(tǒng)進行簡單的驗證與分析。其中實驗的數(shù)據(jù)來自于學生所做的程序作業(yè)，實驗結果反映出該實驗系統(tǒng)不僅可以支持多種程序語言