詞向量的動(dòng)態(tài)加權(quán)及分布式學(xué)習(xí)策略.pdf

1、互聯(lián)網(wǎng)的日益普及和迅速發(fā)展，催生了大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)，在這些非結(jié)構(gòu)化數(shù)據(jù)中，文本數(shù)據(jù)又是其中很重要的一類(lèi)。如何從數(shù)據(jù)量龐大的文本數(shù)據(jù)中提取和學(xué)習(xí)有效的信息是當(dāng)前熱門(mén)的研究領(lǐng)域。其中，文本分類(lèi)是文本挖掘領(lǐng)域一個(gè)重要的研究方向，并且有著廣泛的應(yīng)用場(chǎng)景。而文本分類(lèi)本身是一個(gè)極具挑戰(zhàn)性的問(wèn)題。首先，傳統(tǒng)的文本表示模型認(rèn)為文本是由無(wú)數(shù)個(gè)單詞構(gòu)成，并基于特征詞典采用one-hot編碼的形式，用一個(gè)高維稀疏向量表示一篇文檔，該方法由于向量的高稀疏度

2、限制了文本分類(lèi)的準(zhǔn)確性。其次，傳統(tǒng)的文本分類(lèi)算法大部分都直接應(yīng)用基本機(jī)器學(xué)習(xí)分類(lèi)算法，模型過(guò)于簡(jiǎn)單導(dǎo)致其分類(lèi)結(jié)果也并不理想。針對(duì)以上挑戰(zhàn)，本文首先提出了一種文本表示模型;其次，基于該文本表示模型，利用分類(lèi)器集成的方法，構(gòu)建了一個(gè)高效的文本分類(lèi)模型，實(shí)現(xiàn)了對(duì)文本更加準(zhǔn)確地分類(lèi)。
　　本文研究了文本分類(lèi)的原理和實(shí)現(xiàn)步驟，首先對(duì)中文文檔進(jìn)行了預(yù)處理，具體包括分詞，去停詞，然后對(duì)詞進(jìn)行特征選擇，基于選取的特征詞，提出了一種基于詞向量Wor

3、d2Vec動(dòng)態(tài)加權(quán)的文本表示模型，充分考慮了不同語(yǔ)義特征在不同文章中的不同重要程度?；谠撐谋颈硎灸Ｐ?，本文提出了一種基于分類(lèi)器集成思想的文本分類(lèi)算法，提高了文本分類(lèi)的準(zhǔn)確率。
　　本文提出的文本表示模型中，首先采用Word2Vec算法將文檔特征詞轉(zhuǎn)換成固定維度的詞向量，然后計(jì)算每個(gè)特征詞在文檔中的TF-IDF值，并以特征詞的TF-IDF值作為權(quán)重，對(duì)所有特征詞的詞向量進(jìn)行動(dòng)態(tài)加權(quán)。該文本表示模型可以同時(shí)充分利用不同特征詞在不同文

4、檔中的重要度信息和詞向量的語(yǔ)義信息，實(shí)現(xiàn)了對(duì)文檔的有效表示。實(shí)驗(yàn)結(jié)果表明，本文提出的基于詞向量Word2Vec動(dòng)態(tài)加權(quán)的文本表示模型較傳統(tǒng)文本表示方法具有更好的文本特征表示效果。
　　基于本文提出的文本表示模型，利用集成分類(lèi)的思想，本文通過(guò)Bagging算法，提出了基于詞向量動(dòng)態(tài)加權(quán)模型的支持向量機(jī)集成方法，分別就不同基分類(lèi)器數(shù)量的集成情況進(jìn)行了對(duì)比實(shí)驗(yàn)，并與單個(gè)SVM分類(lèi)效果進(jìn)行了比較。實(shí)驗(yàn)驗(yàn)證了我們提出的基于詞向量動(dòng)態(tài)加權(quán)的分