問(wèn)答系統(tǒng)中問(wèn)句分析技術(shù)的研究與應(yīng)用.pdf

1、當(dāng)前的信息檢索系統(tǒng)基于關(guān)鍵詞進(jìn)行查詢，忽略了語(yǔ)義的多樣性和語(yǔ)言結(jié)構(gòu)分析。問(wèn)答系統(tǒng)允許用戶使用自然語(yǔ)言問(wèn)句進(jìn)行信息查詢，不僅符合人們的習(xí)慣，而且能夠更加精確地描述用戶的信息需求；系統(tǒng)直接返回確切答案或者蘊(yùn)含答案的文本片段，提高了用戶信息查詢的效率。因此，問(wèn)答系統(tǒng)是信息檢索技術(shù)向人性化、智能化方向發(fā)展的必然趨勢(shì)。問(wèn)句分析就是對(duì)問(wèn)句的理解，是問(wèn)答系統(tǒng)的核心技術(shù)。正確地理解問(wèn)句是問(wèn)題求解的前提條件，只有正確理解問(wèn)句才能找到正確的答案。以往的問(wèn)答

2、系統(tǒng)的主要研究對(duì)象是事實(shí)類(lèi)問(wèn)句，針對(duì)這類(lèi)問(wèn)句的分析技術(shù)已經(jīng)比較完善。但面向非事實(shí)類(lèi)復(fù)雜問(wèn)句的分析研究才剛剛開(kāi)始?；ヂ?lián)網(wǎng)上存在大量的非事實(shí)類(lèi)問(wèn)答資源，這些問(wèn)答資源廣泛存在于各大基于網(wǎng)絡(luò)社區(qū)的問(wèn)答系統(tǒng)（Community Question Answering system, CQA）中。在CQA中，用戶通過(guò)“人問(wèn)人答”的方式進(jìn)行信息交流和知識(shí)積累。CQA能夠解決一些需要專業(yè)知識(shí)甚至復(fù)雜推理的問(wèn)題，在一定程度上彌補(bǔ)了自動(dòng)問(wèn)答系統(tǒng)和搜索引擎的不

3、足。這類(lèi)系統(tǒng)發(fā)展非常迅速，已經(jīng)在互聯(lián)網(wǎng)上形成了海量的問(wèn)答資源。這些資源多數(shù)屬于非常復(fù)雜的非事實(shí)類(lèi)問(wèn)句。對(duì)這些問(wèn)答資源進(jìn)行分析和重復(fù)利用也需要新的問(wèn)句分析技術(shù)和手段。本文重點(diǎn)研究了問(wèn)句尤其是非事實(shí)類(lèi)問(wèn)句的分析技術(shù)，旨在解決非事實(shí)類(lèi)復(fù)雜問(wèn)句的分析及求解。研究?jī)?nèi)容主要包括以下幾個(gè)部分：
　　第一，對(duì)問(wèn)句預(yù)處理問(wèn)題展開(kāi)研究，提出了一種粗糙集與最大熵相結(jié)合的模型，用于解決問(wèn)句中并列結(jié)構(gòu)的識(shí)別問(wèn)題。該模型使用粗糙集對(duì)特征屬性進(jìn)行約減，然后將約

4、減后生成的決策規(guī)則轉(zhuǎn)化為組合特征與原有特征一起作為輸入提供給最大熵模型。實(shí)驗(yàn)表明，使用組合特征后，并列結(jié)構(gòu)的識(shí)別準(zhǔn)確率和召回率都有提高。另外，還研究了問(wèn)句的句法分析，提出了一種基于詞知識(shí)的依存句法分析方法（Knowledge based Probabilistic Dependency Parsing, KPDP）。該算法的有效性在中文和英文兩個(gè)語(yǔ)料庫(kù)上得到了驗(yàn)證，在此基礎(chǔ)上將該方法應(yīng)用于問(wèn)句句法分析，取得了較好的效果。
　　(Q

5、uestion Information Chunk Annotation,QICA）分析方法。該方法依據(jù)語(yǔ)義將問(wèn)句中的信息分為五類(lèi)，從而將問(wèn)句從字符空間影射到一個(gè)結(jié)構(gòu)化的語(yǔ)義空間，更易于問(wèn)句的理解和表示。將QICA轉(zhuǎn)化為一個(gè)序列化標(biāo)注問(wèn)題，并同時(shí)使用最大熵模型、最大熵馬爾可夫模型、條件隨機(jī)場(chǎng)模型以及大間隔馬爾可夫模型進(jìn)行了標(biāo)注實(shí)驗(yàn)，其中大間隔馬爾可夫模型取得了最好的標(biāo)注效果。第三，對(duì)問(wèn)句分類(lèi)問(wèn)題展開(kāi)研究，針對(duì)非事實(shí)類(lèi)問(wèn)句無(wú)法按照答案類(lèi)型

6、設(shè)計(jì)問(wèn)句分類(lèi)體系的問(wèn)題，設(shè)計(jì)了一個(gè)粗粒度的問(wèn)句分類(lèi)體系。應(yīng)用多分類(lèi)的思想實(shí)現(xiàn)了相應(yīng)的復(fù)雜問(wèn)句多分類(lèi)，即一個(gè)問(wèn)句可以同時(shí)屬于多個(gè)分類(lèi)，問(wèn)句的分類(lèi)結(jié)果是一個(gè)問(wèn)句類(lèi)別集合。最后提出了兩步解決方法：第一步，判斷一個(gè)問(wèn)句是否屬于某一個(gè)問(wèn)句分類(lèi)，第二步，合并這些分類(lèi)的結(jié)果，最終給出問(wèn)句的分類(lèi)集合。第四，對(duì)海量問(wèn)句的檢索問(wèn)題展開(kāi)研究，使用搜索引擎的倒排索引技術(shù)并擴(kuò)展了傳統(tǒng)的VSM（Vector Space Model）模型，設(shè)計(jì)了一個(gè)基于語(yǔ)義的S-V

7、SM (Semantic Vector Space Model)模型。利用QICA分析結(jié)果和問(wèn)句分類(lèi)結(jié)果，S-VSM實(shí)現(xiàn)了在檢索過(guò)程中問(wèn)句間語(yǔ)義相似度的計(jì)算。實(shí)驗(yàn)表明S-VSM較VSM具有明顯的優(yōu)勢(shì)。最后，將本文研究的問(wèn)句分析技術(shù)應(yīng)用到實(shí)踐，實(shí)現(xiàn)了一個(gè)面向金融領(lǐng)域的問(wèn)答系統(tǒng)。該系統(tǒng)包含三個(gè)子系統(tǒng)：（1）數(shù)據(jù)采集子系統(tǒng)，完成問(wèn)答語(yǔ)料庫(kù)的構(gòu)建；（2）在線問(wèn)答子系統(tǒng)，為互聯(lián)網(wǎng)上的用戶提供知識(shí)交流平臺(tái)；（3）問(wèn)句檢索子系統(tǒng)，通過(guò)檢索問(wèn)答數(shù)據(jù)庫(kù)完