面向編程問答網(wǎng)站的主題挖掘及其應用研究.pdf

1、編程問答網(wǎng)站作為軟件開發(fā)者搜尋問題解決方法的主要來源，它匯聚了大量的軟件編程相關知識和經(jīng)驗，這些知識和經(jīng)驗往往能夠反映出軟件開發(fā)活動的內(nèi)在本質(zhì)。其近年來一直受到軟件工程研究者和軟件開發(fā)從業(yè)者們的廣泛關注，一度成為軟件工程研究領域的熱點課題之一。
　　隨著語義分析技術在軟件工程領域應用的快速發(fā)展，它在軟件工程各類關鍵問題的解決上取得了開創(chuàng)性的進展。LDA主題模型作為語義分析的經(jīng)典模型，它能夠挖掘出自然語言文本的深層次隱含語義。本文通

2、過對在線編程問答網(wǎng)站Stack Overflow進行主題挖掘，運用現(xiàn)代軟件工程方法，結(jié)合數(shù)據(jù)挖掘、機器學習及信息處理領域技術，深入挖掘編程問答網(wǎng)站的數(shù)據(jù)信息，從而解決軟件工程領域的兩大關鍵應用問題：非功能需求關注問題和重復問題的檢測。論文的具體工作內(nèi)容和創(chuàng)新點如下：
　?、贁?shù)據(jù)抽取及語義特征表示。通過對編程問答網(wǎng)站的結(jié)構化自然語言文本數(shù)據(jù)的抽取及預處理，對編程問答網(wǎng)站內(nèi)容進行主題語義深度挖掘，對其中的問題、回答、評論等進行主題語義

3、特征表示，從而為解決本文兩大軟件工程領域關鍵應用問題提供數(shù)據(jù)基礎。
　?、谘芯课谋局黝}與非功能需求之間的映射關系，實現(xiàn)編程問答網(wǎng)站的非功能需求自動標注算法。作為最受歡迎的全球性編程問答網(wǎng)站之一，Stack Overflow匯集了大量的軟件開發(fā)代碼及文本數(shù)據(jù)，其中包括了許多非功能性需求相關問題，然而，鑒于還沒有研究學者對編程問答網(wǎng)站中的非功能需求關注問題進行詳細研究，本文首先通過主題模型挖掘全球編程問答網(wǎng)站Stack Overflo

4、w的文本內(nèi)容，然后通過特定的單詞列表實現(xiàn)對提取主題的非功能需求標注，從而為之后的非功能需求關注問題研究提供支持。
　　③編程問答網(wǎng)站的非功能需求關注問題經(jīng)驗研究。本部分工作展示了基于工作(2)中算法所開展的實證經(jīng)驗研究，主要包括兩個部分，一是評估了工作(2)中的非功能需求標注方法的準確性；二是設計了五個非功能需求研究問題，從開發(fā)者角度看待非功能需求的熱點問題、難點問題、以及他們的演化趨勢問題，并為每個研究問題給出了詳細的實驗結(jié)果和

5、分析。本文的經(jīng)驗研究結(jié)果為軟件開發(fā)活動提供了一定的指示作用。
　?、芫幊虇柎鹁W(wǎng)站重復問題檢測算法設計。Stack Overflow編程問答網(wǎng)站每天產(chǎn)生成千上萬的問題，其中有很多問題是重復問題，目前，Stack Overflow網(wǎng)站解決重復問題主要依靠活躍用戶手動標記重復，不僅極為耗時，且仍然遺漏了大量的重復問題未被標記，因此迫切需要一種自動重復問題檢測算法來對編程問答網(wǎng)站進行重復問題標記。本文通過結(jié)合LDA主題模型和改進的N-gr

6、am語言模型，綜合考慮語義信息、文本信息，詞順序，上下文關聯(lián)信息，以及標簽信息，提出Stack Overflow編程問答網(wǎng)站進行重復問題檢測的新方法DupLNG模型。
　?、菥幊虇柎鹁W(wǎng)站重復問題檢測實證研究。本部分工作展示了基于工作(4)中的重復問題檢測算法，對編程問答網(wǎng)站的重復問題進行實證研究。首先介紹了實驗的評價指標，然后給出了詳細的實驗結(jié)果并對DupLNG模型進行了評估。實驗結(jié)果表明，DupLNG模型可以較精準的檢測編程問答