開放域問答系統(tǒng)答案源獲取方法研究與實(shí)現(xiàn).pdf

1、當(dāng)今社會(huì)，互聯(lián)網(wǎng)中所包含的種類繁多內(nèi)容豐富的知識(shí)資源，為我們?nèi)粘W(xué)習(xí)和工作中面對(duì)問題時(shí)尋求幫助和獲取信息提供了很大的方便。目前的Google和百度等搜索引擎是人們從網(wǎng)絡(luò)中獲取信息的主要途徑，然而，這些傳統(tǒng)的搜索引擎隨著用戶對(duì)信息精確性和時(shí)間高效性要求的提高，暴露出一些弊端，例如，它按照關(guān)鍵詞組合的形式分析用戶輸入的查詢語句，這會(huì)對(duì)用戶的搜索目的產(chǎn)生偏差，返回給用戶的結(jié)果是大量網(wǎng)頁的集合，需要用戶去甄別和查找，而非用戶希望得到的準(zhǔn)確簡(jiǎn)潔的

2、答案。在傳統(tǒng)搜索引擎的基礎(chǔ)上，新一代的自動(dòng)問答系統(tǒng)因?yàn)槠涓咝?shí)用的特點(diǎn)，成為信息檢索領(lǐng)域的研究熱點(diǎn)和趨勢(shì)。一方面，它方便用戶使用自然語言提問，另一方面，返回給用戶的是最終的答案，具有較高的理論研究?jī)r(jià)值和廣闊的應(yīng)用前景。
　　 自動(dòng)問答系統(tǒng)一般主要包括問題分析，信息檢索和答案抽取三個(gè)模塊。其中答案抽取是問答系統(tǒng)的最后關(guān)鍵步驟，能否做好這一步關(guān)系著提交給用戶的答案是否準(zhǔn)確和高效。本文主要針對(duì)最后一步答案源獲取方法進(jìn)行研究，結(jié)合前人的

3、研究成果，在Web網(wǎng)頁的抓取，網(wǎng)頁去重，網(wǎng)頁信息提取等方面進(jìn)行了研究，主要進(jìn)行了以下工作：
　　 (1)針對(duì)用戶提出的問題在Web中搜尋對(duì)應(yīng)的答案網(wǎng)頁，在傳統(tǒng)搜索引擎的平臺(tái)上，將相關(guān)的答案網(wǎng)頁保存到本地。在本實(shí)驗(yàn)設(shè)計(jì)中，我們借助百度知道的知識(shí)庫，通過Crawler爬蟲程序，依據(jù)相應(yīng)的抓取算法，從URL鏈向深度和廣度抓取一定數(shù)量的網(wǎng)頁，作為我們下一步信息提取的答案源庫。
　　 (2)在抓取網(wǎng)頁文檔的過程中，針對(duì)網(wǎng)絡(luò)中存在的

4、大量?jī)?nèi)容相同和相似的網(wǎng)頁，會(huì)增加系統(tǒng)的開銷和降低效率。通過借鑒前人在網(wǎng)頁去重方面的相關(guān)研究成果，引入了基于文本塊，利用shingle和基于集合統(tǒng)計(jì)的網(wǎng)頁去重方法，并給出了測(cè)評(píng)的標(biāo)準(zhǔn)。
　　 (3)在對(duì)網(wǎng)頁文檔信息提取的過程中，可以將網(wǎng)頁標(biāo)簽，無關(guān)的廣告和圖片等信息進(jìn)行過濾，利用DOM樹的節(jié)點(diǎn)結(jié)構(gòu)來結(jié)構(gòu)化表示網(wǎng)頁內(nèi)容，從節(jié)點(diǎn)中提取出網(wǎng)頁文檔的文本信息，為后續(xù)的答案提取做準(zhǔn)備。設(shè)計(jì)實(shí)驗(yàn)方案，給出相關(guān)說明。