用于自然語言分布式表達的聯(lián)合學習方法研究.pdf

1、自然語言分布式表達(Distributed Representations of Natural Language)技術是指利用深度神經(jīng)網(wǎng)絡算法訓練得到自然語言對象（單詞、短語、句子、段落和文檔等）的向量表達的技術，這種向量也被稱為自然語言嵌入向量(NaturalLanguage Embedding Vector)。一般來講，分布式表達向量是從大規(guī)模無監(jiān)督的語料中學習得來的低維、稠密實數(shù)值向量，因為其承載了該自然語言對象的語義信息，所以

2、可以作為自然語言的一種有效的表達，應用于各項自然語言處理的任務中，并取得了非常優(yōu)異的實際表現(xiàn)。
　　在本論文中，與以往完全從原始文本語料學習(Learning From Scratch)得到自然語言分布式表達的方法不同，我們試圖融入更多的信息，達到聯(lián)合訓練自然語言分布式表達向量的目的。這些信息有可能是外源信息（例如字典信息與知識圖譜信息），也有可能是原始語料信息的其他抽象、或者高層次表達（例如單詞的多義性信息與主題信息）。這種聯(lián)合

3、訓練的方法一方面可以利用更多的信息提升原始分布式表達向量的質量，另外一方面可以利用自然語言的分布式表達更好地幫助相應的任務（例如主題建模），從而達到更佳的實際表現(xiàn)。具體來說，1）我們通過單詞多義性信息與單詞分布式表達聯(lián)合訓練的方法來克服傳統(tǒng)單詞分布式表達以單詞作為基本語義嵌入單元的限制，所提出的算法可以精確表達多義單詞的不同語義，取得了良好的實際效果，同時我們在本文中介紹了該算法的大規(guī)模并行實現(xiàn);2）我們通過知識圖譜表示與單詞分布式表達

4、聯(lián)合訓練的方法來克服原始文本驅動的單詞嵌入向量無法表示復雜知識關系的限制;3）基于這兩種聯(lián)合訓練的方式我們提出了一種利用單詞分布式表達來完成自動智商測試的方法，在標準詞匯智商測試任務上取得了比該測試的人類參與者的表現(xiàn)更高的準確率;4）更進一步，我們提出了一種基于遞歸神經(jīng)網(wǎng)絡(Recurrent Neural Network)的句子分布式表達模型和主題模型的聯(lián)合訓練方法，利用該方法訓練得到的主題模型可以建模單詞序列性信息，與忽略該信息的傳