基于語義的文本向量表示方法研究.pdf

1、互聯網技術的發(fā)展和普及使得人們可以快速的獲取信息，反過來人們獲取信息的方式也越來越依賴于互聯網。人們在互聯網上獲取信息的主要方式是通過文本，并且互聯網中的文本數目也呈現爆發(fā)式的增長。為了使人們更方便準確的找到需要的信息，互聯網服務提供商需要對文本進行分類、聚類以及排序等。這些任務通常需要將文本表示成向量形式以便應用不同的機器學習模型。從用戶角度來說，需要根據文本的語義來對它們分類、聚類、排序等。語義是一種抽象的，高層次的特征，而現在廣泛

2、使用的文本的詞袋表示將文本看成相互獨立的字符的集合，而沒有考慮這些字符的語義以及它們的關聯，從而導致詞袋表示不夠泛化。在文本向量表示中包含進文本更高層次的語義信息成為很多學者的研究目標?；谡Z義的文本向量表示的優(yōu)點是能夠將文本用低維的稠密的向量表示起來，且這種表示更加泛化，也就是說即使兩個文本在表達相同意思時使用了不同的用詞，它們的基于語義的向量表示也是相似的，而詞袋模型不能捕捉到這種相似。主題模型，包括LDA，pLSI通過模擬文本的生

3、成過程得到文本中隱含的主題，并將文本表示成在主題上的分布。深度神經網絡能夠學習到數據的不同層次的特征因此也被用來得到文本的語義表示。
　　本文以基于語義的文本向量表示為研究對象，開展了以下工作:
　　1.在無監(jiān)督情況下，本文針對詞袋模型不能考慮詞之間的相似度而導致表示不夠泛化的問題以及維度災難問題提出基于詞團的表示(BOWL)。詞團是語義相似的詞的集合，每一個詞團表達了一個”概念”，其相對于詞是更高層次，更抽象的特征，從而在

4、文本表示中考慮到了詞的語義信息。BOWL表示的每一個維度的值使用k-max池化操作來計算。實驗顯示了BOWL表示的表示有效性和表示效率。
　　2.在有監(jiān)督情況下，復雜的神經網絡結構雖然能夠捕捉到更準確的語義信息，但這種神經網絡的訓練非常耗時并且往往依賴GPU，本文在神經網絡的輸入層將詞的詞向量求平均，經過隱藏層的非線性變換得到文本的更高層次的語義向量表示，最后在文本的向量空間對文本分類。實驗表明這種向量平均神經網絡相對于低層次的詞