基于LDA模型的領(lǐng)域自動問答系統(tǒng).pdf

1、隨著因特網(wǎng)的發(fā)展，其包含的信息量不斷增加，人們普遍希望能在互聯(lián)網(wǎng)中快速地找到自己想要的信息。同時，目前搜索引擎的有效應(yīng)用率不高，搜索引擎的不足仍有很多，限制著人們獲取信息的效率。自動問答系統(tǒng)可以更智能、更快速、更準確地獲取用戶想查詢的內(nèi)容，近年來成為了國內(nèi)外學者廣泛研究的熱點。
　　 本文以實現(xiàn)一個針對計算機常見故障的解決辦法這一領(lǐng)域的自動問答系統(tǒng)為目標，深入探討了自動問答系統(tǒng)從問題處理一直到最終給出答案的全過程。在研究過程中，

2、發(fā)現(xiàn)領(lǐng)域分詞和語義相似度的計算是自動問答系統(tǒng)的核心內(nèi)容，相對于目前的系統(tǒng)需求以及研究現(xiàn)狀，還有很多改進的地方。本文主要對這兩個方面進行改進，在每一節(jié)也地改進后的結(jié)果進行了實驗論證，說明改進后的確加強了檢索的結(jié)果。最后設(shè)計實現(xiàn)了一個可以對用戶提出的計算機故障相關(guān)問題自動給出解決辦法的一個原型系統(tǒng)。
　　 首先，本文討論了在中文分詞領(lǐng)域常用的方法，對基于詞典的分詞方法、基于統(tǒng)計的分詞方法這兩個經(jīng)典的方法做了深入分析，對其他方法做了簡

3、要介紹，并比較了不同的方法的特性和效果。然后提出了一個基于領(lǐng)域詞典與詞串互信息的分詞方法，該方法加入了語義的信息，并考慮到領(lǐng)域?qū)I(yè)詞匯的特性，最后加入了詞串的互信息來解決分詞中的岐義問題。通過實驗證明，這些改進提升了領(lǐng)域文本的分詞性能。
　　 其次，本文對語義相似度的概念和計算原則做了簡單討論，并研究了基于編輯距離的語義相似度計算方法、基于依存關(guān)系的語義相似度計算方法以及基于語義距離和本體的相似度計算方法，同時提出了對經(jīng)典相似度

4、計算方法改進的一個新方法。新方法使用LDA模型，經(jīng)過領(lǐng)域語料庫的訓練，得到一個領(lǐng)域相關(guān)的詞一主題的分布，由于考慮了同一個主題下的詞之間的語義相關(guān)性，因此計算得到的語義相似度更為可靠。
　　 最后，本文對針對計算機常見故障的解決辦法這一領(lǐng)域的自動問答系統(tǒng)進行了系統(tǒng)設(shè)計，良好的設(shè)計使系統(tǒng)的框架具備了高內(nèi)聚、低耦合的特性，這樣可以大大減小系統(tǒng)的升級和后期的維護的代價。同時在WindowsXP平臺下，基于.NETFramework框架開