深度學(xué)習(xí)文本情感分析算法的并行化研究.pdf

1、自從Geoffrey Hinton等人提出深度學(xué)習(xí)模型后，其以優(yōu)秀的信息提取，較強的特征表達能力，在語音識別、數(shù)字圖像處理等各個領(lǐng)域引起了較大的變革，自然語言處理領(lǐng)域也不例外。然而，其耗時長、訓(xùn)練難的特點，也給使用者帶來了很大的麻煩;并且藏文作為小語種語言，用以往傳統(tǒng)機器學(xué)習(xí)方法進行分析時因不能分析句子結(jié)構(gòu)信息而造成的準(zhǔn)確度低的缺點，也給輿情監(jiān)測帶來了難點。針對以上問題，本文所做工作如下:
　　1)針對半監(jiān)督遞歸自編碼文本情感分析

2、算法在訓(xùn)練集和測試集數(shù)據(jù)量大的情況下模型收斂速度慢、測試結(jié)果輸出慢的問題，分別提出了相應(yīng)的并行化算法。對于大量訓(xùn)練數(shù)據(jù)集，首先將數(shù)據(jù)集分塊后置于Map節(jié)點中計算其塊誤差，接著將塊誤差輸出到緩沖區(qū)，Reduce節(jié)點取出塊誤差后利用其計算優(yōu)化目標(biāo)函數(shù)，然后調(diào)用L-BFGS算法更新參數(shù)集，之后將參數(shù)集重置于集群中，迭代上述過程直至優(yōu)化目標(biāo)函數(shù)收斂后得到其最優(yōu)參數(shù)集;對于大量測試數(shù)據(jù)集，首先利用上述訓(xùn)練好的參數(shù)初始化集群，在Map階段計算出每條

3、語句的向量表示并輸出到緩沖區(qū)，在Reduce階段則通過分類器利用相應(yīng)語句的向量得到其情感標(biāo)簽。同時，針對所提算法設(shè)計了實例驗證方案，以檢驗加速效果;并從準(zhǔn)確度、加速比、數(shù)據(jù)可擴展性和集群可擴展性等四個維度對本文所提并行化算法進行了評價。
　　2)針對以往傳統(tǒng)機器學(xué)習(xí)算法進行藏文情感分析時，忽略藏文語句結(jié)構(gòu)、詞序等重要信息而使文本情感分析準(zhǔn)確度較低的問題，首次將深度學(xué)習(xí)半監(jiān)督遞歸自編碼模型引入該領(lǐng)域，以解決此問題;并且通過大量實驗探