基于深度學習的文本特征表示及分類應用.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生出大量非結(jié)構(gòu)化文本，這些文本中蘊含著豐富的信息，但由于其數(shù)據(jù)量龐大因此需要計算機自動地提取這些文本中的有效信息。本文試圖利用深度學習方法去學習文本特征，并通過對模型的深化改進利用提取到的特征對文本進行深層處理，例如對文本數(shù)據(jù)進行情感分析，過濾風險廣告詞條等。通過在微博、影評進行情感分析以及在百度推廣廣告語料上進行風險廣告過濾，結(jié)果證明本文提出的方法有效性。本文的主要工作有：
　　本文在總結(jié)了深度學習常用的網(wǎng)絡

2、結(jié)構(gòu)的基礎(chǔ)之上，提出了基于RAE神經(jīng)網(wǎng)絡和極性轉(zhuǎn)移的深度學習模型PRAE，該模型可以根據(jù)文本的結(jié)構(gòu)信息和語法語義信息學習到文本的表示，同時利用文本的標簽進行訓練可用于文本的情感分析任務。該模型不但可以學習到詞語的詞向量表示，而且可以根據(jù)句子的樹形拓撲結(jié)構(gòu)進行網(wǎng)絡遞歸學習整個句子的向量表示。這樣可以利用模型進行文本特征的自動學習，從而避免了進行人工特征工程構(gòu)建，可以節(jié)省大量人力。通過實驗驗證利用該深度學習模型學習到的文本特征進行情感分類可

3、以達到很好的效果。
　　本文的另一項工作是結(jié)合LSTM（long short term memory）記憶單元與遞歸神經(jīng)網(wǎng)絡（Recursive Neural Networks，RSNN）提出LSTM-RSNN模型。該模型充分結(jié)合遞歸神經(jīng)網(wǎng)絡和LSTM記憶單元的優(yōu)點，利用遞歸神經(jīng)網(wǎng)絡學習句子的層次結(jié)構(gòu)信息，而LSTM記憶單元的加入則可以使得學習句子特征表示時可以充分利用句子的歷史信息。最后將LSTM-RSNN模型融合極性轉(zhuǎn)移模型形