面向多領(lǐng)域大規(guī)模知識庫的自然語言自動問答研究.pdf

1、隨著計算機和網(wǎng)絡(luò)的飛速發(fā)展，我們已經(jīng)進入了數(shù)據(jù)信息爆炸式增長的時代，如何從海量的非結(jié)構(gòu)化信息中提取真正滿足用戶需求的信息，已經(jīng)成為一個越來越重要的研究課題。自然語言問答系統(tǒng)應運而生，它是一個能夠?qū)τ嬎銠C用戶或移動用戶以自然語言形式描述的問句做出高效、準確回答的問答系統(tǒng)。
　　本文研究的課題是面向多領(lǐng)域大規(guī)模知識庫的自然語言自動問答研究。本文主要研究人物、地理、機構(gòu)、音樂和電影這五類的自然語言自動問答。除構(gòu)建知識庫外，其精髓是如何進

2、行準確高效的自然語言問句語義理解。與傳統(tǒng)的搜索引擎不同，自然語言自動問答系統(tǒng)不是簡單的關(guān)鍵詞組合匹配，而是需要理解用戶意圖，因此，自然語言自動問答系統(tǒng)面臨著很多困難，主要有兩點:一是需要構(gòu)建大規(guī)模知識庫以及能夠高效查詢的查詢體系;二是系統(tǒng)的輸入是日常使用的自然語言，需要對自然語言問句進行理解分析，得到用戶意圖。
　　針對上述問題，本文提出了一系列解決方法，主要有以下四點:
　　一是構(gòu)建知識庫。對知識存儲模型做了深入研究，根據(jù)

3、存儲模型需要滿足能夠大規(guī)模存儲數(shù)據(jù)且高效查詢、又能支持知識推理的特點，決定使用RDF存儲模型存儲知識。本文按類別爬取了百科數(shù)據(jù)和豆瓣數(shù)據(jù)，構(gòu)建RDF知識庫;
　　二是進行命名實體識別。自然語言問句理解首先需要識別命名實體，本文使用機器學習的方法進行命名實體識別，研究了兩種機器學習方法:SVM統(tǒng)計模型和CRF統(tǒng)計模型，以及兩種統(tǒng)計模型特征模板的選取問題，同時研究了選取不同的特征模板對命名實體識別準確率的影響，最終根據(jù)實驗數(shù)據(jù)選取合適

4、的模板和統(tǒng)計模型;
　　三是自然語言問句理解。本文在問句已經(jīng)被劃分類別、分詞和進行命名實體識別的基礎(chǔ)上，利用類別信息和詞性標注，提出構(gòu)建問句語義圖的方法來描述用戶意圖，針對漢語的一個實體可以有多種表述方式的問題，提出了實體消歧和屬性詞消歧的方法;
　　四是構(gòu)建查詢機制。針對RDF知識庫需要用SPARQL語言進行查詢的問題，構(gòu)建了自動生成SPARQL查詢語句的查詢機制。
　　為了驗證本文方法的高效性，本文使用數(shù)據(jù)堂提供的