基于深度神經(jīng)網(wǎng)絡(luò)的文本表示與分類研究.pdf

1、文本分類是自然語言處理領(lǐng)域的經(jīng)典任務(wù)之一，目標是識別出文本所屬的類別。文本分類在郵件檢測、情感分析和主題標記等領(lǐng)域都有廣泛的應(yīng)用。然而，好的文本表示方法才是提高文本分類等自然語言處理任務(wù)性能的關(guān)鍵。傳統(tǒng)的文本表示采用詞袋模型或向量空間模型，這不僅失去了文本的上下文信息，還面臨著高緯度、高稀疏性的問題。近年來，隨著數(shù)據(jù)量的增加和計算性能的提高，使用深度學(xué)習(xí)技術(shù)對文本進行表示和分類受到極大的關(guān)注。采用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和具有注意機制

2、的循環(huán)神經(jīng)網(wǎng)絡(luò)等對文本進行表示，然后進行文本分類等自然語言處理任務(wù)，都比傳統(tǒng)方法有更好的性能。
　　本文設(shè)計了兩個基于深度神經(jīng)網(wǎng)絡(luò)的句子級文本表示與分類模型。具體如下:
　　(1)基于雙向循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本表示與分類模型-BRCNN。BRCNN的輸入是句子中的每一個詞對應(yīng)的詞向量;在使用循環(huán)神經(jīng)網(wǎng)絡(luò)來提取句子中的詞序信息后采用卷積神經(jīng)網(wǎng)絡(luò)來提取句子的更高級特征;卷積操作之后使用最大池化操作來獲得句子向量;最后采用Sof

3、tmax分類器進行分類。循環(huán)神經(jīng)網(wǎng)絡(luò)能夠捕捉到句子中的詞序信息，而卷積神經(jīng)網(wǎng)絡(luò)能夠很好的提取出有用的特征。在8個文本分類任務(wù)上的實驗表明:BRCNN模型能夠得到更好的文本特征表示，獲得與現(xiàn)有技術(shù)相當(dāng)或更高的分類正確率。
　　(2)基于注意機制和卷積神經(jīng)網(wǎng)絡(luò)的文本表示與分類模型-ACNN。ACNN模型使用具有注意機制的循環(huán)神經(jīng)網(wǎng)絡(luò)獲得上下文向量;然后使用卷積神經(jīng)網(wǎng)絡(luò)提取更高級的特征信息;采用最大池化操作得到句子向量;最后，采用Sof