基于語言模型和機器學習的文本情感分類研究.pdf

1、在由微博帶來的自媒體時代，文本情感分類是自然語言處理領域的一個熱門課題，文本情感分類具有非常廣闊的應用前景。文本情感分類又稱文本情感識別，文本情感識別的研究是一門新興的融合自然語言處理、計算機科學、信息學等多學科的熱點研究課題，正越來越受到國內外科研機構和研究人員的重視。本文主要圍繞語言模型和機器學習展開文本情感識別的研究，在原有結構模型的基礎上從文本特征和分類算法兩個層面入手提出改進的方法，以期提高相關模型的分類效果，并在文章最后一章

2、提出了一種基于深度學習的文本情感識別結構。本論文的主要研究內容和創(chuàng)新點如下:
　　(1)闡述了文本情感分類的研究背景與意義，總結了當前國內外的研究現(xiàn)狀，并對當前有待深入研究和解決的理論和技術問題進行了說明。
　　(2)概述了與情感相關的一些基礎知識，包括情感的定義與文本情感的分類。接著介紹了文本預處理技術:中文分詞、停用詞過濾、詞性標注。然后闡述了構造情感詞典的幾種方法:情感詞詞典構造、極性副詞詞典構造、表情符號詞典構造。最

3、后重點研究了文本常用特征:詞袋特征、文本向量特征、詞頻特征、詞頻-逆文檔頻率特征;以及特征的提取方法:信息增益、卡方檢驗、互信息選擇。
　　(3)本文提出以語言模型作為文本情感分類的特征進行文本情感分類，以n-gram語言模型為例介紹了統(tǒng)計語言模型的構造以及常見的平滑算法，接著依次介紹了機器學習領域的三種常見的分類算法:最近鄰分類算法、樸素貝葉斯分類算法、基于支持向量機的分類算法。最后我們使用三種領域的微博評論語料對詞袋模型、TF

4、IDF、語言模型等特征和機器學習的不同分類方法做分類實驗，結論表明基于語言模型的特征和基于支持向量機的分類算法取得了最好的效果。
　　(4)提出了文本情感分類中語言模型特征的優(yōu)化和簡化算法:加入文本句首尾特征、提出主題加權語言模型，兩種新特征均使識別效果稍有提升;論述詞聚類的必要性，并提出使用Word2Vec聚類詞從而簡化語言模型特征數(shù)。
　　(5)介紹了神經網絡的基本原理以及深度學習的學習規(guī)則和常見模型，并提出使用基于卷積