基于LSTM的英文文本蘊含識別方法研究.pdf

1、文本蘊含識別是自然語言處理領(lǐng)域里一個關(guān)鍵而又充滿挑戰(zhàn)的任務(wù)。它被廣泛地應(yīng)用于機器翻譯、文檔自動文摘和語義檢索等任務(wù)中。近十年來，得益于相關(guān)語義評測比賽的推動，文本蘊含識別逐漸吸引起越來越多研究者的關(guān)注。早期解決該任務(wù)的方法主要集中在人工抽取特征結(jié)合分類器的方案上。這類方法有兩個缺陷，一是非常依賴于許多并不完善的基礎(chǔ)NLP技術(shù)，所以錯誤傳播問題在這類方法中普遍存在；二是在人工構(gòu)建和提取特征的過程中通常需要大量外部語義資源的支持，會耗費較多

2、的人力和時間。隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，越來越多的研究者開始利用神經(jīng)網(wǎng)絡(luò)模型來解決NLP任務(wù)，并且取得了許多突破性成就。端到端的神經(jīng)網(wǎng)絡(luò)能夠有效地避免上述兩個缺陷。近期發(fā)布的StanfordNaturalLanguage Inference語料庫，其訓(xùn)練集規(guī)模相比于同類評測語料庫有了兩個量級的增長，這使得利用深度學(xué)習(xí)方法來解決文本蘊含任務(wù)成為了可能。目前，基于深度神經(jīng)網(wǎng)絡(luò)的文本蘊含識別方法主要分為兩類：基于句子表示的模型和基于句子匹配

3、的模型。絕大多數(shù)已提出的方法都利用LSTM進行句子編碼。本文的主要研究工作結(jié)合上述三種文本蘊含識別方法展開：
　　1.基于邏輯回歸模型的文本蘊含識別。這部分工作作為本文中的一種基線方法。針對SNLI語料庫規(guī)模較大的特點，提取四類與模式匹配和句子相似度相關(guān)的特征，然后對特征進行簡單過濾去除冗余，最后利用邏輯回歸模型完成分類任務(wù)。
　　2.基于句子表示的文本蘊含識別。實現(xiàn)基于暹羅網(wǎng)絡(luò)結(jié)構(gòu)的文本蘊含識別模型。提出了一種基于雙向LS

4、TM的句子編碼方法，前提句和假設(shè)句分別獨立編碼，產(chǎn)生兩個句子表示，然后通過連接、按位相乘和按位相減操作進行句子匹配，最后通過Softmax分類。
　　3.融合Attention機制的文本蘊含識別。提出了基于LSTM的前提假設(shè)合并輸入的句子匹配模型。然后將Attention機制應(yīng)用于本文提出的兩個模型中。通過Attention對句子中單詞的重要性進行了區(qū)分，利用Attention權(quán)重來得到更加準確的句子表示。SNLI語料庫上的實驗證