聊天機(jī)器人知識(shí)庫(kù)自動(dòng)抽取算法的研究與實(shí)現(xiàn).pdf

1、聊天機(jī)器人(chatbot)是一種通過(guò)自然語(yǔ)言同人進(jìn)行交流的人機(jī)交流對(duì)話(huà)智能系統(tǒng)(conversationalagent)，人機(jī)之間的對(duì)話(huà)交流往往都局限于某個(gè)領(lǐng)域或者主題。聊天機(jī)器人一般都基于刺激——反應(yīng)原理：用戶(hù)提出一個(gè)問(wèn)題，聊天機(jī)器人回答問(wèn)題；或者用戶(hù)做出某些評(píng)論，聊天機(jī)器人做出相應(yīng)的反應(yīng)。為了增加對(duì)話(huà)的連續(xù)性，聊天機(jī)器人往往還會(huì)在聊天過(guò)程中主動(dòng)向用戶(hù)提出新的問(wèn)題。通常，聊天機(jī)器人都含有一個(gè)聊天知識(shí)庫(kù)以及對(duì)話(huà)控制模塊，聊天知識(shí)庫(kù)就像

2、聊天機(jī)器人的大腦，存儲(chǔ)著回復(fù)用戶(hù)輸入的聊天知識(shí)，而對(duì)話(huà)控制模塊則用于控制對(duì)話(huà)進(jìn)程。一般而言，典型的聊天知識(shí)庫(kù)都由一系列的模板組成，模板用于匹配用戶(hù)的輸入并根據(jù)一定的規(guī)則產(chǎn)生相應(yīng)的機(jī)器人回復(fù)。但是目前用在聊天機(jī)器人中的模板，都是由人來(lái)手工構(gòu)建的，因此聊天知識(shí)庫(kù)的構(gòu)建是一件費(fèi)時(shí)費(fèi)力的工作，并且缺乏靈活性，由此導(dǎo)致這種人工書(shū)寫(xiě)的方法在應(yīng)用到新的知識(shí)領(lǐng)域或者新語(yǔ)言時(shí)，困難重重，比如一旦聊天機(jī)器人的知識(shí)領(lǐng)域發(fā)生了變化，就需要重新構(gòu)建知識(shí)庫(kù)。

3、 本文提出并實(shí)現(xiàn)了一種新穎的聊天知識(shí)庫(kù)構(gòu)建方法，通過(guò)該方法，就能自動(dòng)從在線論壇中抽取出形式為〈帖子標(biāo)題，回復(fù)〉對(duì)的聊天知識(shí)。使用該方法，就能快速、有效地為聊天機(jī)器人構(gòu)建某個(gè)領(lǐng)域的聊天知識(shí)。本文介紹的這種方法，是一種瀑布式模型(cascadedframework)，給定一個(gè)論壇，經(jīng)過(guò)以下步驟的處理，就能自動(dòng)從中抽取出高質(zhì)量的〈帖子標(biāo)題，回復(fù)〉對(duì)。首先，通過(guò)使用一個(gè)基于回復(fù)和帖子標(biāo)題之間的各種關(guān)系(如結(jié)構(gòu)和內(nèi)容特征)的SVM分類(lèi)器，將所有

4、和帖子標(biāo)題在邏輯上相關(guān)的回復(fù)抽取出來(lái)。接著，再根據(jù)回復(fù)的內(nèi)容質(zhì)量等特征對(duì)這些抽取出來(lái)的〈帖子標(biāo)題，回復(fù)〉對(duì)進(jìn)行排序(采用的排序模型為rankingSVM)。最后，將排在前N的〈帖子標(biāo)題，回復(fù)〉對(duì)選用為聊天知識(shí)。通過(guò)在一個(gè)電影論壇中進(jìn)行的相關(guān)實(shí)驗(yàn)得到的結(jié)果表明，本文提出的自動(dòng)抽取聊天知識(shí)的方法能快速、有效地構(gòu)建聊天知識(shí)庫(kù)。 本文的主要貢獻(xiàn)為：1.本文第一個(gè)提出了使用在線論壇為聊天機(jī)器人自動(dòng)抽取聊天知識(shí)；2.本文設(shè)計(jì)并實(shí)現(xiàn)了一種瀑布