基于神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言語(yǔ)義表征方法研究.pdf

1、人工智能主要包含運(yùn)算智能、感知智能、認(rèn)知智能三個(gè)層次。自然語(yǔ)言理解是認(rèn)知智能研究的重要領(lǐng)域，也被視為人工智能完備問(wèn)題之一而受到廣泛關(guān)注。自然語(yǔ)言通常以詞語(yǔ)為基本單位，通過(guò)組合詞語(yǔ)構(gòu)成句子和篇章。計(jì)算機(jī)理解詞語(yǔ)、句子、篇章離不開(kāi)對(duì)自然語(yǔ)言的語(yǔ)義表征?，F(xiàn)階段，基于分布式語(yǔ)義假設(shè)的詞向量技術(shù)在詞語(yǔ)的語(yǔ)義表征上已經(jīng)取得了成功。然而，對(duì)于句子、篇章的語(yǔ)義表征仍然面臨著諸多挑戰(zhàn)，如何在神經(jīng)網(wǎng)絡(luò)框架下將變長(zhǎng)的句子、篇章表征成固定長(zhǎng)度的低維稠密向量仍是

2、當(dāng)前語(yǔ)義表征研究的核心問(wèn)題。自然語(yǔ)言推理和自動(dòng)文本摘要是依賴(lài)句子、篇章級(jí)語(yǔ)義表征的典型自然語(yǔ)言理解任務(wù)。現(xiàn)階段基于神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言推理方法在表征句子語(yǔ)義時(shí)，往往存在忽略語(yǔ)言固有的句法結(jié)構(gòu)信息、缺乏對(duì)外部語(yǔ)義知識(shí)的運(yùn)用等問(wèn)題，而現(xiàn)階段基于神經(jīng)網(wǎng)絡(luò)的概括式自動(dòng)文本摘要方法主要針對(duì)短篇章的自動(dòng)摘要，在表征篇章語(yǔ)義時(shí)沒(méi)有考慮到處理長(zhǎng)篇章可能出現(xiàn)的冗余性問(wèn)題。
　　本文圍繞基于神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言語(yǔ)義表征，在句子語(yǔ)義表征方法、自然語(yǔ)言推理方

3、法、自動(dòng)文本摘要方法等方面開(kāi)展研究工作，具體包括:
　　首先，研究了基于通用池化的句子語(yǔ)義表征方法，提出了向量化的多頭自注意力機(jī)制以獲得固定長(zhǎng)度的句子語(yǔ)義向量表征。該方法將已有的最大池化、均值池化、標(biāo)量多頭自注意力池化等作為特例，提升了句子語(yǔ)義表征能力。另外，通過(guò)引入懲罰項(xiàng)降低了不同頭之間語(yǔ)義表征的冗余性，取得了在自然語(yǔ)言推理、作者側(cè)寫(xiě)、情感分析三個(gè)任務(wù)上的性能提升。
　　其次，研究了結(jié)合句法結(jié)構(gòu)與序列建模的句子語(yǔ)義表征與自

4、然語(yǔ)言推理方法。針對(duì)現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言推理方法對(duì)于語(yǔ)言的序列特性與句法結(jié)構(gòu)信息利用不足的問(wèn)題，提出了增強(qiáng)型序列推理模型，并且進(jìn)一步將句法結(jié)構(gòu)信息融入到局部推理建模、推理組合兩個(gè)模型組件中，提升了自然語(yǔ)言推理任務(wù)的性能。
　　再次，研究了融合外部語(yǔ)義知識(shí)的句子語(yǔ)義表征與自然語(yǔ)言推理方法。針對(duì)現(xiàn)有的神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言推理方法過(guò)于依賴(lài)端到端訓(xùn)練、其語(yǔ)義表征模型缺乏對(duì)于外部語(yǔ)義知識(shí)的利用等問(wèn)題，提出了一種融合外部語(yǔ)義知識(shí)的句子語(yǔ)義建

5、模與推理方法。該方法在上述的增強(qiáng)型序列推理模型中的協(xié)同注意力計(jì)算、局部推理信息收集、推理組合三個(gè)組件上融合了外部語(yǔ)義知識(shí)，提高了原有模型在少訓(xùn)練樣本情況下的泛化能力，取得了兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上的自然語(yǔ)言推理性能提升。
　　最后，研究了考慮語(yǔ)義分散力機(jī)制的篇章語(yǔ)義表征與自動(dòng)文本摘要方法?，F(xiàn)有基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)文本摘要方法通常采用語(yǔ)句級(jí)的序列到序列模型，對(duì)于篇章全局的關(guān)注不足，這造成在處理長(zhǎng)篇章時(shí)的摘要信息冗余問(wèn)題。本文提出了基于循環(huán)神經(jīng)