基于用戶意圖分析的交互式問答技術(shù)研究.pdf

1、隨著海量網(wǎng)絡(luò)信息的積累和規(guī)模的高速增長,準確快捷地找到自己所需要的信息已成為人們迫切的需求。自動問答系統(tǒng),通過理解用戶自然語言形式的問句,返回答案或包含答案的文本片段,在一定程度上提高了用戶信息檢索的效率和準確性。自動問答認為用戶的每一個輸入都是語義信息完整、獨立于上下文語境的問句。另外,自動問答系統(tǒng)對相同的問句總是分析出相同的信息需求,并且應該返回相同的答案,而忽視了不同用戶的檢索意圖之間存在的差異。
　　但是,在真實的應用環(huán)境

2、中,用戶往往需要通過與系統(tǒng)進行自然的、連續(xù)的、上下文相關(guān)的信息交互,以解決各種復雜的信息任務(wù)。用戶的輸入除了以信息檢索為目的的問句外,還有關(guān)于系統(tǒng)功能的咨詢、對系統(tǒng)回答的反饋等表達其他意圖的對話;后續(xù)問句中往往會出現(xiàn)基于上下文語境的信息缺省現(xiàn)象,例如指代、省略等等;對于同一個問句,由于用戶提問的意圖不同,所表達的信息需求也不同,進而,所需要返回的答案也應該有所區(qū)別。因此,用戶意圖分析和交互式問答系統(tǒng)成為當前信息處理領(lǐng)域的研究熱點。本文研

3、究基于用戶意圖分析的交互式問答系統(tǒng)。具體的研究內(nèi)容包括:
　　第一、基于言語行為的用戶意圖分析。通過對真實環(huán)境中收集的交互式問答語料分析發(fā)現(xiàn),相當比例的用戶輸入是有關(guān)系統(tǒng)功能的咨詢、對系統(tǒng)回答的反饋等銜接性的對話。為保證信息交互的流暢性和系統(tǒng)接口的人性化,有必要對用戶輸入的意圖進行識別,從而給出合理應答。本文根據(jù)言語行為將用戶輸入的意圖分為以信息檢索為目的的問句、功能咨詢、對系統(tǒng)的正、負面反饋等6個類別,并結(jié)合多層次的語言學特征,

4、使用機器學習方法進行自動分類。對不同意圖類型的輸入,制定不同的應答策略,提高了系統(tǒng)處理用戶輸入的覆蓋面和泛化性。
　　第二、后續(xù)問句中的上下文相關(guān)現(xiàn)象處理。用戶的連續(xù)問答中往往會出現(xiàn)指代、省略等基于上下文信息的信息缺省現(xiàn)象。建立上下文語境模型,對問句缺省的信息進行補全是交互式問答的基礎(chǔ)。本文收集了真實環(huán)境的中文交互式問答語料,并著重在對話結(jié)構(gòu)、話題過渡的方式、上下文相關(guān)現(xiàn)象以及它們之間的關(guān)系等方面進行了統(tǒng)計分析。在此基礎(chǔ)上，本文將

5、上下文相關(guān)現(xiàn)象的識別轉(zhuǎn)化為層次化多標記的分類問題,為不同的信息缺省現(xiàn)象構(gòu)建了統(tǒng)一的框架。該框架以問句信息角色作為候選缺省信息的語義單位,在傳統(tǒng)的指代消解和省略識別特征的基礎(chǔ)上，針對問句的特點,增加信息角色及其轉(zhuǎn)移方式、問句類型等新特征。實驗驗證表明,該算法的通用性更強,識別和處理上下文相關(guān)現(xiàn)象的性能優(yōu)于其他算法。
　　第三、基于認知模型的用戶意圖分析。對用戶檢索意圖的分析和理解是信息系統(tǒng)的關(guān)鍵,它通過檢索關(guān)鍵詞或者問句中所表達的信

6、息需求而體現(xiàn)。問句類型表示信息需求的類型,現(xiàn)有的工作通常將一個問句識別為一個確定的類型,但是由于用戶意圖的差異,對同一個問句,不同的用戶想表達的信息需求往往也不同。為了對用戶信息需求的差異性進行建模,本文基于用戶問答的認知過程,提出一個具有三個維度的問句分類體系,這三個維度分別對用戶的淺層信息需求、隱含信息需求和對答案在語用層次的期望進行建模。本文首先收集并詳細分析了用戶對真實問句在三個維度上的標注結(jié)果,進而通過提取領(lǐng)域無關(guān)的、多層次的

7、語言學特征,使用機器學習算法為每個層次構(gòu)建了自動分類模型。實驗證明,70％左右的隱含信息需求和語用期望可以被正確識別。
　　第四、基于用戶意圖多樣化的交互式問答。鑒于對同一個問句,具有不同檢索意圖的用戶想表達的信息需求也可能不同。目前,返回結(jié)果的意圖多樣化研究已經(jīng)在信息檢索領(lǐng)域受到廣泛關(guān)注,但在問答領(lǐng)域卻還沒有相關(guān)的工作。本文首先提出信息需求緊湊度的概念來度量問句是否具有多樣化的信息需求。然后,從問句類型,即信息需求的類型和問句話