基于LDA模型的重復缺陷報告檢測的研究.pdf

1、缺陷報告作為軟件維護周期過程中產生的缺陷描述數(shù)據，由于這些報告通常由對軟件本身了解甚少的用戶匆忙撰寫而成,它們不僅存在著表達模糊、不專業(yè)、信息不全、難于理解等問題，還存在于同一缺陷被反復重復提交的問題，由此造成提交上來的缺陷報告中存在有大量冗余重復的缺陷報告，對于此類重復缺陷報告如果反復被分派給開發(fā)者，勢必造成人力資源的嚴重浪費，特別對于大型開源項目而言此類問題尤為明顯。
　　為了減輕人工檢測重復缺陷報告的負擔，國內外很多專家學者

2、投入到重復缺陷報告檢測領域的研究并提出了一系列的重復缺陷報告的檢測方法。但是由于傳統(tǒng)的重復報告自動檢測方法普遍采用向量空間模型作為理論基礎，構建的向量空間存在維度高、數(shù)據稀疏且有嗓聲等問題，降低了檢測執(zhí)行效率，查全率和查準率較低。針對以上問題，本文提出了一種全新的基于主題模型理論的檢測方法，潛在狄利克雷分配模型(LDA，Latent Dirichlet Allocation)是最簡單的主題模型，通過LDA模型能夠將缺陷報告文檔從傳統(tǒng)的高

3、維的單詞空間映射到低維的主題空間，最后在低維的主題空間上計算文檔之間的相似度，從而大大地降低了待處理空間的維度并提高了算法了檢測執(zhí)行效率。
　　本文的主要工作如下：
　　1.通過大量查閱國內外相關文獻，分析了本課程的研究背景以及國內外研究現(xiàn)狀，明確了該領域內目前存在的問題并提出了相應的解決方案。
　　2.通過分析缺陷報告的分布情況，構建了本實驗的樣本空間，并在該空間內抽取了所需要的缺陷報告數(shù)據，之后對實驗數(shù)據進行了預處

4、理，預處理主要包括兩步：數(shù)據基本清理和數(shù)據深度清理，從而保證了實驗數(shù)據的有效性和可靠性。
　　3.摸擬傳統(tǒng)的重復缺陷報告檢測方法進行對比實驗，首先介紹了向量空間模型理論，然后分析了特征項選取和權重計算方法，之后通過向量空間模型計算了缺陷報告的相似度并對實驗結果進行了評估。
　　4.針對傳統(tǒng)方法的弊端，完成基于潛在狄利克雷分配模型的重復缺陷報告檢測實驗，實驗過程首先利用LDA構建主題模型，其次構建了實驗的測試樣本空間便于驗證實