基于問答網(wǎng)絡(luò)論壇知識體系的自動問答系統(tǒng)研究.pdf

1、隨著信息檢索技術(shù)的發(fā)展，互聯(lián)網(wǎng)上出現(xiàn)了多種類型的搜索服務(wù)。其中應(yīng)用最為廣泛的當(dāng)數(shù)Web搜索引擎服務(wù)，實(shí)現(xiàn)了對海量Web文檔的獲取、處理、存儲和訪問，使用戶能夠在互聯(lián)網(wǎng)上方便快捷的查找到所需信息，在人們?nèi)粘Ｉ钪邪l(fā)揮了重要作用。但是，隨著互聯(lián)網(wǎng)信息量的增長和搜索引擎技術(shù)的成熟，互聯(lián)網(wǎng)用戶已經(jīng)不滿足于單純基
　　 于關(guān)鍵詞的搜索服務(wù)，而希望通過自然語言描述，表達(dá)自己的查詢需求，希望搜索服務(wù)系統(tǒng)能夠理解用戶意圖，返回恰當(dāng)?shù)慕Y(jié)果。因此，

2、自動問答系統(tǒng)成了互聯(lián)網(wǎng)用戶的下一步渴望。自動問答系統(tǒng)的用戶界面類似于搜索引擎，但用戶提交的不再
　　 是關(guān)鍵詞，而是自然語言問句，系統(tǒng)返回的是根據(jù)與問題相關(guān)程度排序的答案列表。
　　 目前，自動問答領(lǐng)域已經(jīng)積累了大量的研究成果，包括基于不同語言的、不同數(shù)據(jù)集的自動問答研究。但是，自動問答還沒能像搜索引擎一樣，形成產(chǎn)品化的服務(wù)。本文旨在為產(chǎn)品化的自動問答互聯(lián)網(wǎng)服務(wù)積累經(jīng)驗(yàn)，研究基于一種特定的數(shù)據(jù)集——問答網(wǎng)絡(luò)論壇數(shù)據(jù)集，構(gòu)

3、建自動問答系統(tǒng)的過程；進(jìn)而在信息檢索過程中，通過引入自然語言句法和語義信息、重新定義數(shù)據(jù)組織形式等措施，研究系統(tǒng)性能的一系列改進(jìn)方案。主要貢獻(xiàn)和創(chuàng)新點(diǎn)包括：
　　 ●構(gòu)建自動問答系統(tǒng)的評測平臺。在問答網(wǎng)絡(luò)論壇數(shù)據(jù)集上，參照搜索引擎實(shí)現(xiàn)原理，基于標(biāo)引項(xiàng)，采用文本相似度檢索模型構(gòu)建自動問答系統(tǒng)。
　　 實(shí)驗(yàn)表明：系統(tǒng)性能略優(yōu)于問答網(wǎng)絡(luò)論壇自帶的“相似問題搜索”功能，將代替該功能，作為本文系統(tǒng)性能改進(jìn)的評價(jià)基準(zhǔn)。
　　

4、 ●基于依存項(xiàng)的自動問答系統(tǒng)性能改進(jìn)。提出依存項(xiàng)定義，在標(biāo)引項(xiàng)基礎(chǔ)上引入了自然語言依存句法分析結(jié)果，將句法信息引入到信息檢索過程中。實(shí)驗(yàn)表明：依存項(xiàng)可以有效表達(dá)問題的自然語言句法特征，原有的信息檢索模型不做任何改變，即可改進(jìn)自動問答系統(tǒng)性能。
　　 ●基于問題分類的自動問答系統(tǒng)性能改進(jìn)。針對問答網(wǎng)絡(luò)論壇數(shù)據(jù)集，提出一套新的自然語言問題分類體系，將自然語言句法和語義信息作為訓(xùn)練特征，訓(xùn)練出足夠精確的問題分類器。問題分類結(jié)果用于指導(dǎo)

5、答案排序。實(shí)驗(yàn)表明：分類器對論壇數(shù)據(jù)集分類效果良好，類別指導(dǎo)排序明顯改進(jìn)了系統(tǒng)性能。
　　 ●基于自然語言知識體系的自動問答系統(tǒng)改進(jìn)。參考前兩種系統(tǒng)改進(jìn)經(jīng)驗(yàn)，提出新的數(shù)據(jù)組織形式：向概念體系添加謂語關(guān)聯(lián)，建立自然語言知識體系。謂語關(guān)聯(lián)由數(shù)據(jù)集中的問題答案對產(chǎn)生。這是一種綜合的改進(jìn)，既充分利用了數(shù)據(jù)集中的答案信息，又借助自然語言概念體系的關(guān)聯(lián)關(guān)系，增強(qiáng)了系統(tǒng)的查詢擴(kuò)展和邏輯推理能力。論壇數(shù)據(jù)填充到此體系中，并在此體系上重建自動問答