面向文本分類任務(wù)的主題強化詞句嵌入模型研究.pdf

1、近年來，深度學(xué)習(xí)在自然語言處理領(lǐng)域受到了更多的重視，基于深度學(xué)習(xí)的神經(jīng)語言模型和詞句嵌入模型相繼被提出，這類模型以其高準(zhǔn)確率、低復(fù)雜度的優(yōu)點被學(xué)術(shù)界和工業(yè)界廣泛研究和應(yīng)用。然而，將原本依賴語言模型分布假設(shè)的詞句嵌入模型直接用于文本分類等任務(wù)，顯然是不合適的，因為文本分類任務(wù)所需要的是高極性的主題特征，而原詞句嵌入模型只是單純的捕捉語言規(guī)律，沒有重視主題信息的挖掘。
　　為了使基于深度學(xué)習(xí)的詞句嵌入模型更加適合應(yīng)用到文本分類任務(wù)中，

2、本文對原模型進行主題強化，提出了主題強化的詞句嵌入模型，期望獲得更高的文本分類性能。由于語義極性相反的單詞可能擁有相似的局部上下文，而原模型只利用局部上下文訓(xùn)練該單詞的分布式嵌入表示，是無法捕捉到具有相反極性的語義的。因此，本文提出用高階純依賴建模詞句嵌入模型中的長程上下文，從而加強詞句分布式嵌入表示的情感或者主題信息，進而提高情感分析和主題挖掘任務(wù)的性能。高階純依賴方法有嚴(yán)格的理論依據(jù)保證長程上下文單詞間的依賴是“純”的，即單詞依賴是

3、一個完整的語義實體，并且單詞的聯(lián)合概率分布不能夠被條件分解（當(dāng)然也不能被非條件分解）。這樣保證了高階的單詞依賴不能夠分解成幾個低階依賴的隨機共現(xiàn)，從而高階純依賴可以有效地建模出語義豐富的、非歧義的主題信息。
　　本文將主題強化的詞句嵌入模型應(yīng)用到基于標(biāo)準(zhǔn)數(shù)據(jù)集的情感分析和主題挖掘任務(wù)中，均超過了所有現(xiàn)有模型的性能。在中文新聞?wù)Z料的分類項目中，與詞袋模型、LDA主題模型特征作對比，分別應(yīng)用了線性和非線性分類器，從多角度調(diào)研了其分類結(jié)