面向在線問答社區(qū)的問題檢索與答案抽取技術(shù)研究與實現(xiàn).pdf

1、由于自然語言處理的復(fù)雜性，現(xiàn)有的基于關(guān)鍵字的搜索引擎無法較好的理解、處理自然語言問題。與搜索引擎相比，社區(qū)型問答系統(tǒng)能夠更好的理解用戶意圖，直接返回自然語言提問的答案。社區(qū)型問答系統(tǒng)已成為網(wǎng)絡(luò)上不可或缺的高質(zhì)量信息來源。
　　然而社區(qū)型問答系統(tǒng)還存在如下挑戰(zhàn)。問答平臺較多，問答資源分散在各個問答社區(qū)；自然語言問句表述多樣性造成相似問句難以匹配；高質(zhì)量答案淹沒在大量低質(zhì)量答案之中；相似問題下的最佳答案無法快速獲取。本文在問題檢索、答

2、案抽取方面進行了具體的工作，設(shè)計實現(xiàn)了一個面向在線問答社區(qū)的多平臺的問答系統(tǒng)。
　　在問題檢索部分，本文設(shè)計了面向多平臺的相似問題查詢排序模型。第一步，識別問題類型并到對應(yīng)在線問答社區(qū)的分類中檢索相似問題。首先對自然語言形式的提問進行預(yù)處理，提取問題特征，考慮不同問題類別與不同在線問答社區(qū)的對應(yīng)關(guān)系，到相應(yīng)的問答社區(qū)分類中檢索。第二步，將多個來源的相似問題檢索結(jié)果按照與提問的相關(guān)度進行排序。排序過程綜合考慮問句的語義距離特征，統(tǒng)計

3、模型特征與問題質(zhì)量特征，通過排序?qū)W習(xí)算法調(diào)整權(quán)重，選擇與用戶意圖最相近的問題。
　　在答案抽取部分，本文設(shè)計了面向多平臺的最佳答案查詢排序模型。第一步采用有監(jiān)督機器學(xué)習(xí)的方法從大量答案中過濾掉無關(guān)答案，通過層次化模型來得到高質(zhì)量候選答案集合。第二步綜合考慮相似問題下的所有答案，得到多平臺的最佳答案。首先通過比較問題與提問的關(guān)聯(lián)度、問題和答案的關(guān)聯(lián)度，提取答案質(zhì)量的關(guān)鍵特征。然后基于ListNet算法構(gòu)建答案排序模型，選出與問句最相