基于語義理解與PLSA的文本情感分類研究.pdf

1、近年來,隨著電子商務(wù),個人博客,社交網(wǎng)站和微博的蓬勃發(fā)展,互聯(lián)網(wǎng)進入了一個嶄新的時代,廣大用戶有了發(fā)表自己意見的空間,帶有主觀色彩的言論和評價隨之鋪天蓋地而來。這些海量的非結(jié)構(gòu)化文本包含了大量的信息,企業(yè)需要從中獲得用戶對產(chǎn)品的意見,政府需要知道群眾對某項政策的反映,而用戶在消費前想得到更多的建議,如何處理這些信息從而獲得我們想要的知識,成為當(dāng)前學(xué)者們關(guān)注的焦點。情感分類是隨之興起的一個研究領(lǐng)域,它是指通過挖掘和分析文本中的立場、觀點、

2、情緒等主觀信息,對文本的情感傾向做出類別判斷,將其分為正面(positive)或負(fù)面(negative)。文本情感分類可以應(yīng)用到輿論分析、信息過濾、產(chǎn)品評價、產(chǎn)品推薦、智能化搜索和用戶興趣發(fā)掘等方面。本文的主要研究內(nèi)容包括以下幾個方面:首先,本文建立了一個跨領(lǐng)域的語料庫,并在知網(wǎng)情感詞匯的基礎(chǔ)上,加入未登錄詞的情感計算,構(gòu)建了一個較為詳細(xì)的情感詞典。未登錄詞的情感計算采用基于知網(wǎng)的語義相似度計算方法,之后在詞匯傾向分析的基礎(chǔ)上進行文本情

3、感分類;然后,提出了基于概率潛在語義分析(ProbabilisticLatentSemanticAnalysis,PLSA)的情感分類方法,該方法使用概率模型表示“文檔-潛在語義-詞”三者之間的關(guān)系,文檔和詞都可以映射到同一個語義空間中,較好地解決了多義詞和同義詞的現(xiàn)象,使用EM算法進行迭代求解,可以大大降低時間和空間復(fù)雜度?；谡Z義理解的方法效率較高,但適應(yīng)性較差,每個領(lǐng)域都有各自的表述情感詞,且同樣的情感詞在不同的分類領(lǐng)域褒貶性也不

4、盡相同,另外,在漢語中,人們常常使用消極情感的間接表達(IndirectExpressionofNegativeSentiment,IENS)或“反語”修辭手法來表達負(fù)面情感,因此,基于語義理解的分類更傾向于將文本劃分到正面類別當(dāng)中;另一方面,基于PLSA的方法需要大量的人工標(biāo)注文本集,訓(xùn)練和分類時間都較長,但適用范圍較廣,由于正面詞和負(fù)面詞在消極態(tài)度的文本中出現(xiàn)頻率都比較高,所以PLSA方法更容易學(xué)習(xí)消極的情感表達。本文針對兩種方法各