基于非結構化文檔的開放域自動問答系統(tǒng)技術研究.pdf

1、自動問答系統(tǒng)能夠根據(jù)用戶輸入的自然語言問題，直接返回精確的答案。本文的研究方向是基于非結構化文檔的開放域自動問答系統(tǒng)，其特點是背后的數(shù)據(jù)源是非結構化的文檔庫，面向的問題是通用問題，并不局限于某個領域。典型的基于非結構化文檔的開放域自動問答系統(tǒng)一般由問題處理模塊、文檔處理模塊和答案處理模塊三個部分組成，其主要存在兩個問題，第一是文檔處理模塊返回的段落候選集規(guī)模過大導致答案處理模塊準確率降低。第二是基于規(guī)則的答案抽取過于繁瑣，靈活性差。針對

2、第一個問題，使用句子篩選和句子排序模塊將段落候選集縮減為單個的答案句子。針對第二個問題，使用端到端的深度神經(jīng)網(wǎng)絡模型代替?zhèn)鹘y(tǒng)的基于規(guī)則的答案抽取算法。
　　本研究針對句子篩選模塊，改進了一種計算文檔相似度的算法Word Mover'sDistance(WMD)，并提出了一種將BM25和WMD結合的混合模型。分別進行了文檔分類和文本排序實驗。實驗結果表明，改進后的WMD算法和混合模型比其他基準算法有更好的效果。針對句子排序模塊，設計

3、了五種特征來衡量問句和候選答案句子之間的相關性，并以此相關性得分對候選答案句子進行排序。這些特征包含了不同的級別。該模型稱為Multiple Level Feature Rank(MLFR)模型。測試并對比了若干基于深度神經(jīng)網(wǎng)絡的句子排序模型。實驗結果表明，MLFR模型有更好的排序效果。最后，引入了一個端到端的深度神經(jīng)網(wǎng)絡模型用于答案抽取，并將此模型與前面的句子篩選和句子排序模塊組合在一起，設計實驗進行了整體的性能評估。本文對典型的基于