基于問(wèn)答網(wǎng)絡(luò)論壇知識(shí)體系的自動(dòng)問(wèn)答系統(tǒng)研究.pdf

1、隨著信息檢索技術(shù)的發(fā)展，互聯(lián)網(wǎng)上出現(xiàn)了多種類型的搜索服務(wù)。其中應(yīng)用最為廣泛的當(dāng)數(shù)Web搜索引擎服務(wù)，實(shí)現(xiàn)了對(duì)海量Web文檔的獲取、處理、存儲(chǔ)和訪問(wèn)，使用戶能夠在互聯(lián)網(wǎng)上方便快捷的查找到所需信息，在人們?nèi)粘Ｉ钪邪l(fā)揮了重要作用。但是，隨著互聯(lián)網(wǎng)信息量的增長(zhǎng)和搜索引擎技術(shù)的成熟，互聯(lián)網(wǎng)用戶已經(jīng)不滿足于單純基
　　 于關(guān)鍵詞的搜索服務(wù)，而希望通過(guò)自然語(yǔ)言描述，表達(dá)自己的查詢需求，希望搜索服務(wù)系統(tǒng)能夠理解用戶意圖，返回恰當(dāng)?shù)慕Y(jié)果。因此，

2、自動(dòng)問(wèn)答系統(tǒng)成了互聯(lián)網(wǎng)用戶的下一步渴望。自動(dòng)問(wèn)答系統(tǒng)的用戶界面類似于搜索引擎，但用戶提交的不再
　　 是關(guān)鍵詞，而是自然語(yǔ)言問(wèn)句，系統(tǒng)返回的是根據(jù)與問(wèn)題相關(guān)程度排序的答案列表。
　　 目前，自動(dòng)問(wèn)答領(lǐng)域已經(jīng)積累了大量的研究成果，包括基于不同語(yǔ)言的、不同數(shù)據(jù)集的自動(dòng)問(wèn)答研究。但是，自動(dòng)問(wèn)答還沒(méi)能像搜索引擎一樣，形成產(chǎn)品化的服務(wù)。本文旨在為產(chǎn)品化的自動(dòng)問(wèn)答互聯(lián)網(wǎng)服務(wù)積累經(jīng)驗(yàn)，研究基于一種特定的數(shù)據(jù)集——問(wèn)答網(wǎng)絡(luò)論壇數(shù)據(jù)集，構(gòu)

3、建自動(dòng)問(wèn)答系統(tǒng)的過(guò)程；進(jìn)而在信息檢索過(guò)程中，通過(guò)引入自然語(yǔ)言句法和語(yǔ)義信息、重新定義數(shù)據(jù)組織形式等措施，研究系統(tǒng)性能的一系列改進(jìn)方案。主要貢獻(xiàn)和創(chuàng)新點(diǎn)包括：
　　 ●構(gòu)建自動(dòng)問(wèn)答系統(tǒng)的評(píng)測(cè)平臺(tái)。在問(wèn)答網(wǎng)絡(luò)論壇數(shù)據(jù)集上，參照搜索引擎實(shí)現(xiàn)原理，基于標(biāo)引項(xiàng)，采用文本相似度檢索模型構(gòu)建自動(dòng)問(wèn)答系統(tǒng)。
　　 實(shí)驗(yàn)表明：系統(tǒng)性能略優(yōu)于問(wèn)答網(wǎng)絡(luò)論壇自帶的“相似問(wèn)題搜索”功能，將代替該功能，作為本文系統(tǒng)性能改進(jìn)的評(píng)價(jià)基準(zhǔn)。
　　

4、 ●基于依存項(xiàng)的自動(dòng)問(wèn)答系統(tǒng)性能改進(jìn)。提出依存項(xiàng)定義，在標(biāo)引項(xiàng)基礎(chǔ)上引入了自然語(yǔ)言依存句法分析結(jié)果，將句法信息引入到信息檢索過(guò)程中。實(shí)驗(yàn)表明：依存項(xiàng)可以有效表達(dá)問(wèn)題的自然語(yǔ)言句法特征，原有的信息檢索模型不做任何改變，即可改進(jìn)自動(dòng)問(wèn)答系統(tǒng)性能。
　　 ●基于問(wèn)題分類的自動(dòng)問(wèn)答系統(tǒng)性能改進(jìn)。針對(duì)問(wèn)答網(wǎng)絡(luò)論壇數(shù)據(jù)集，提出一套新的自然語(yǔ)言問(wèn)題分類體系，將自然語(yǔ)言句法和語(yǔ)義信息作為訓(xùn)練特征，訓(xùn)練出足夠精確的問(wèn)題分類器。問(wèn)題分類結(jié)果用于指導(dǎo)

5、答案排序。實(shí)驗(yàn)表明：分類器對(duì)論壇數(shù)據(jù)集分類效果良好，類別指導(dǎo)排序明顯改進(jìn)了系統(tǒng)性能。
　　 ●基于自然語(yǔ)言知識(shí)體系的自動(dòng)問(wèn)答系統(tǒng)改進(jìn)。參考前兩種系統(tǒng)改進(jìn)經(jīng)驗(yàn)，提出新的數(shù)據(jù)組織形式：向概念體系添加謂語(yǔ)關(guān)聯(lián)，建立自然語(yǔ)言知識(shí)體系。謂語(yǔ)關(guān)聯(lián)由數(shù)據(jù)集中的問(wèn)題答案對(duì)產(chǎn)生。這是一種綜合的改進(jìn)，既充分利用了數(shù)據(jù)集中的答案信息，又借助自然語(yǔ)言概念體系的關(guān)聯(lián)關(guān)系，增強(qiáng)了系統(tǒng)的查詢擴(kuò)展和邏輯推理能力。論壇數(shù)據(jù)填充到此體系中，并在此體系上重建自動(dòng)問(wèn)答