基于粒計(jì)算模型和卷積神經(jīng)網(wǎng)絡(luò)模型的短文本分類研究.pdf

1、文本分類的前提就是文本表示,文本表示的傳統(tǒng)方法大多是采用計(jì)數(shù)的形式,而這種計(jì)數(shù)的方式認(rèn)為詞與詞之間是互相獨(dú)立存在的,沒有考慮到文本語(yǔ)義信息,在特征選擇時(shí)過(guò)多加入了人為的因素,從而導(dǎo)致提取的特征維度高、稀疏性強(qiáng),無(wú)法有效地表示文本信息。而且現(xiàn)在在互聯(lián)網(wǎng)上產(chǎn)生大量的文本信息,種類復(fù)雜以及變化多樣性的主題給文本分類帶來(lái)了很多挑戰(zhàn),如果采用傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法去訓(xùn)練模型時(shí),泛化能力弱,尤其當(dāng)數(shù)據(jù)集不平衡時(shí)。所以,如何更好的文本表示以及新的分類

2、算法成為研究的關(guān)鍵點(diǎn)。
　　在2006年,深度學(xué)習(xí)逐漸興起,目前已經(jīng)在語(yǔ)音和圖像領(lǐng)域取得了重大的突破和發(fā)展,很多的深度學(xué)習(xí)研究成果都比傳統(tǒng)的機(jī)器學(xué)習(xí)算法有更好的分類效果以及出色的性能,訓(xùn)練的模型,泛化能力更強(qiáng)。本文采用適合短文本分類表示的方法以及利用粒計(jì)算模型對(duì)短文本特征擴(kuò)展,并且結(jié)合卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)短文本進(jìn)行分類,為此本文主要做了以下工作:
　　1.詳細(xì)地介紹了常見的短文本分類任務(wù)中的流程,包括數(shù)據(jù)預(yù)處理、分詞、去停用詞

3、、特征表示等關(guān)鍵步驟。除此之外,還分析了短文本數(shù)據(jù)的特點(diǎn),以及采用傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法時(shí)遇到的問題,這將為后續(xù)本文所采用的文本特征提取、文本特征擴(kuò)展以及如何設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。
　　2.本文在構(gòu)建短文本特征表示形式時(shí),并沒有人工構(gòu)建,而是基于Skip-Gram神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型訓(xùn)練每個(gè)詞的word embedding,在訓(xùn)練時(shí),除了自己的語(yǔ)料庫(kù),還加入了維基百科的數(shù)據(jù),從而能夠更好地表達(dá)詞與詞之間的語(yǔ)義信息,提高詞的特

4、征表達(dá)能力。
　　3.提出一種基于粒計(jì)算模型的文本特征詞擴(kuò)展方法,首先利用語(yǔ)料庫(kù)中訓(xùn)練好的每個(gè)詞的word embedding,即特征詞的詞向量,基于所有特征詞的詞向量構(gòu)建詞向量空間,然后構(gòu)造出相關(guān)的粒化關(guān)系對(duì)這個(gè)詞向量空間進(jìn)行?；??；慕Y(jié)果使得詞向量空間中的每個(gè)特征詞都具有一個(gè)特征詞類,也稱為特征詞粒,每個(gè)特征詞類內(nèi)部的特征詞之間保持高度的相似性,最后選取特征詞類中的特征詞進(jìn)行擴(kuò)展,有效地緩解了短文本數(shù)據(jù)稀疏性問題,進(jìn)一步提高

5、了特征詞的語(yǔ)義信息。
　　4.設(shè)計(jì)了四種卷積核的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu),在對(duì)每個(gè)文本擴(kuò)展特征基礎(chǔ)上,進(jìn)一步提取了文本信息中最重要的信息,完成短文本分類任務(wù)。同時(shí),在訓(xùn)練文本特征時(shí),參數(shù)會(huì)不斷更新。通過(guò)三組對(duì)比實(shí)驗(yàn),可以得知:相比于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法,本文提出的方法在分類效果上取得了更優(yōu)的結(jié)果;利用詞嵌入對(duì)文本特征進(jìn)行初始化,相比于人工隨機(jī)賦予文本特征初始化,在分類效果上更優(yōu)異;本文的方法相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型而言也取得了更