基于融合句法信息的序列--樹型編碼器的自然語言推理研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，全球每天都會不斷的產(chǎn)生大量的文本數(shù)據(jù)，這些文本數(shù)據(jù)存在多種多樣的表現(xiàn)形式，這使計算機在處理這些自然語言數(shù)據(jù)造成了巨大的困難。本文研究的自然語言推理是自然語言處理領(lǐng)域相對基礎(chǔ)的一項研究，是機器翻譯，機器閱讀，機器問答等算法的基礎(chǔ)。過去幾十年中，基于手工特征的自然語言推理研究占據(jù)了該領(lǐng)域的主流，但隨著算力和人工智能算法的發(fā)展，深度學(xué)習(xí)算法開始被應(yīng)用到自然語言處理的各個方向，其中也包括自然語言推理，因為深度學(xué)習(xí)的引入，使

2、自然語言推理的水平大幅提高，也間接的推動了自然語言處理其他領(lǐng)域的發(fā)展。
　　本文提出了一種基于融合句法信息的序列-樹型編碼模型的自然語言推理方法。首先提出了詞性分布式表達向量來表示文本中單詞的詞性信息，彌補了現(xiàn)有詞向量缺少詞性信息的不足，從而解決了具有多種詞性的單詞的向量表示，同時增加了詞性信息，使詞向量包含更多信息，有利于后續(xù)網(wǎng)絡(luò)的特征學(xué)習(xí)。其次本文使用了順序序列形式的Bi-LSTM網(wǎng)絡(luò)對文本進行編碼，該網(wǎng)絡(luò)編碼好的句向量含有單

3、詞的上下文關(guān)系。同時本文利用樹型LSTM網(wǎng)絡(luò)對文本的依存樹進行編碼，該網(wǎng)絡(luò)編碼的句向量則含有源文本中詞與詞的依賴關(guān)系，通過順序序列的Bi-LSTM網(wǎng)絡(luò)和樹型LSTM網(wǎng)絡(luò)兩種不同形式結(jié)構(gòu)的網(wǎng)絡(luò)共同對前提和假設(shè)進行編碼，最大程度的保留原文本的句法和詞性信息，并通過本文提出的基于Sentence Fusion的句向量混合模型對前提和假設(shè)的句向量進行融合，完成蘊含關(guān)系的識別。本模型在斯坦福自然語言推理數(shù)據(jù)集上進行訓(xùn)練，并在測試集上取得了良好的表