基于非結(jié)構(gòu)化文檔的開放域自動問答系統(tǒng)技術(shù)研究.pdf

1、自動問答系統(tǒng)能夠根據(jù)用戶輸入的自然語言問題，直接返回精確的答案。本文的研究方向是基于非結(jié)構(gòu)化文檔的開放域自動問答系統(tǒng)，其特點(diǎn)是背后的數(shù)據(jù)源是非結(jié)構(gòu)化的文檔庫，面向的問題是通用問題，并不局限于某個(gè)領(lǐng)域。典型的基于非結(jié)構(gòu)化文檔的開放域自動問答系統(tǒng)一般由問題處理模塊、文檔處理模塊和答案處理模塊三個(gè)部分組成，其主要存在兩個(gè)問題，第一是文檔處理模塊返回的段落候選集規(guī)模過大導(dǎo)致答案處理模塊準(zhǔn)確率降低。第二是基于規(guī)則的答案抽取過于繁瑣，靈活性差。針對

2、第一個(gè)問題，使用句子篩選和句子排序模塊將段落候選集縮減為單個(gè)的答案句子。針對第二個(gè)問題，使用端到端的深度神經(jīng)網(wǎng)絡(luò)模型代替?zhèn)鹘y(tǒng)的基于規(guī)則的答案抽取算法。
　　本研究針對句子篩選模塊，改進(jìn)了一種計(jì)算文檔相似度的算法Word Mover'sDistance(WMD)，并提出了一種將BM25和WMD結(jié)合的混合模型。分別進(jìn)行了文檔分類和文本排序?qū)嶒?yàn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的WMD算法和混合模型比其他基準(zhǔn)算法有更好的效果。針對句子排序模塊，設(shè)計(jì)

3、了五種特征來衡量問句和候選答案句子之間的相關(guān)性，并以此相關(guān)性得分對候選答案句子進(jìn)行排序。這些特征包含了不同的級別。該模型稱為Multiple Level Feature Rank(MLFR)模型。測試并對比了若干基于深度神經(jīng)網(wǎng)絡(luò)的句子排序模型。實(shí)驗(yàn)結(jié)果表明，MLFR模型有更好的排序效果。最后，引入了一個(gè)端到端的深度神經(jīng)網(wǎng)絡(luò)模型用于答案抽取，并將此模型與前面的句子篩選和句子排序模塊組合在一起，設(shè)計(jì)實(shí)驗(yàn)進(jìn)行了整體的性能評估。本文對典型的基于