基于概率圖模型的代碼庫數(shù)據(jù)挖掘.pdf

1、源代碼閱讀是一項十分困難的工作，特別是對于那些有成百上千個文件的源代碼工程而言，比如Linux和Gcc這樣的開源代碼庫，我們很難能夠在短時間內(nèi)清楚一個源文件是在做什么。所以對源代碼文件進行分析的自動化工具變得十分重要，例如一些可以自動分析軟件結(jié)構、功能、調(diào)用關系、開發(fā)過程甚至是開發(fā)人員與代碼之間的一些聯(lián)系等等。
　　一些傳統(tǒng)的主題模型比如LDA模型可以利用概率關系從文本中挖掘其中包含的多種主題。但是源代碼數(shù)據(jù)與普通文本有著顯著的區(qū)

2、別，它們的各部分結(jié)構不是“平等”的。一個代碼文件中包含的數(shù)據(jù)有接近普通文本的注釋，也有受到程序語言約束的代碼。另外，非監(jiān)督型主題模型只能夠給出主題的詞分布，而無法得到確切的分類名。而且目前并沒有一個針對代碼分類的標準分類系統(tǒng)。
　　在這篇文章中，我們提出了一個新的針對源代碼庫設計的概率圖模型，用來對源代碼庫進行主題挖掘。這個模型不是將代碼文件當成普通文本處理，而是將不同的部分，包括代碼、注釋、以及提交記錄信息，進行不同的處理并通過

3、主題將他們結(jié)合起來。因此，這個模型在模擬源代碼庫的生成過程中，相比于其它的傳統(tǒng)主題挖掘方法更加貼近源代碼庫的真實生成過程。這使得我們得到的主題分布將更加可靠。
　　但是，如果只有這個概率圖模型，我們?nèi)匀徊荒艿玫揭粋€源代碼文件的確切分類。所以我們選擇建立一個針對與源代碼庫的分類系統(tǒng)。在本文中，我們選擇了對來自于著名的程序問答網(wǎng)站Stack overflow的數(shù)據(jù)進行處理，建立了一個多分枝的層次化分類系統(tǒng)。同時，我們采用了不同的映射方