面向文本情感分類的非平衡數(shù)據(jù)采樣方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，尤其是網(wǎng)絡(luò)購物的盛行，網(wǎng)絡(luò)上出現(xiàn)了大量的產(chǎn)品評(píng)論文本。通過這些評(píng)論文本可以獲得用戶對(duì)產(chǎn)品的情感傾向，即對(duì)產(chǎn)品的一種贊揚(yáng)或貶斥的態(tài)度。商家可從褒義評(píng)論中挖掘用戶的關(guān)注點(diǎn)和產(chǎn)品的賣點(diǎn)，同時(shí)，也可以從貶義評(píng)論中發(fā)現(xiàn)自身的缺點(diǎn)與競爭對(duì)手的不足。對(duì)于大量的且褒貶義數(shù)量相差很大的網(wǎng)絡(luò)評(píng)論文本，直接使用傳統(tǒng)的二分類技術(shù)進(jìn)行分類時(shí)，效果不太理想，尤其對(duì)那些非常重要的少數(shù)類樣本的識(shí)別。因此，如何準(zhǔn)確地對(duì)非平衡的評(píng)論文本數(shù)據(jù)進(jìn)行褒

2、貶情感分類成為一個(gè)亟待解決的問題。
　　 本文針對(duì)非平衡評(píng)論數(shù)據(jù)的情感分類問題進(jìn)行了研究，主要在數(shù)據(jù)層面，對(duì)訓(xùn)練樣本的多數(shù)類進(jìn)行下采樣，以使數(shù)據(jù)達(dá)到平衡，然后再使用傳統(tǒng)的分類技術(shù)進(jìn)行分類。論文的主要貢獻(xiàn)有以下三個(gè)方面:
　　 (1)基于聚類的下采樣算法
　　 本文提出了基于聚類的非平衡數(shù)據(jù)下采樣算法CUA(Cluster-based Under-sampling Algorithm，CUA)。該方法通過對(duì)訓(xùn)練數(shù)據(jù)

3、集的多數(shù)類樣本進(jìn)行聚類，從聚類的每個(gè)簇中隨機(jī)地選出代表點(diǎn)，以使訓(xùn)練數(shù)據(jù)達(dá)到平衡。通過與不進(jìn)行裁剪和隨機(jī)下采樣兩種方法的比較，結(jié)果表明:①在處理面向情感分類的非平衡數(shù)據(jù)時(shí)，使用下采樣方法進(jìn)行數(shù)據(jù)的平衡化處理很有必要。②基于聚類的下采樣方法在性能上比隨機(jī)下采樣方法穩(wěn)定。
　　 (2)類邊界區(qū)域裁剪算法
　　 本文提出了類邊界區(qū)域的裁剪算法BRC(Boundary Region Cutting Algorithm，BRC)，該

4、算法主要對(duì)類邊界的高密區(qū)中的多數(shù)類樣本進(jìn)行裁剪，改變類邊界區(qū)域的數(shù)據(jù)分布，盡量使類邊界區(qū)域變得清晰分明。經(jīng)過對(duì)六個(gè)數(shù)據(jù)集的三組實(shí)驗(yàn)，得出以下結(jié)論:①通過對(duì)權(quán)重模式TFIDF、TF和Presence的比較，發(fā)現(xiàn)在大多數(shù)情況下，Presence權(quán)重模式比其它兩種模式效果好。②研究了參數(shù)α和β的變化對(duì)BRC算法的影響。實(shí)驗(yàn)結(jié)果表明，參數(shù)值越小時(shí)BRC算法的效果越好。而使用BRC+RS方法時(shí)，參數(shù)設(shè)置往往要比只使用BRC大一些，才能達(dá)到更好的效

5、果。⑧比較BRC和BRC+RS裁剪方法的性能。實(shí)驗(yàn)結(jié)果表明，BRC算法可以增強(qiáng)少數(shù)類的召回率，但會(huì)影響少數(shù)類的準(zhǔn)確率和多數(shù)類的召回率。BRC+RS算法，能使多數(shù)類和少數(shù)類的F值都得到明顯的提升?？傮w來看，BRC+RS方法比BRC方法性能好。
　　 (3)非平衡數(shù)據(jù)集裁剪實(shí)驗(yàn)方案設(shè)計(jì)
　　 針對(duì)非平衡評(píng)論數(shù)據(jù)的情感分類問題，設(shè)計(jì)了驗(yàn)證和測試兩種實(shí)驗(yàn)方案，其中測試方案又分為平衡測試集和非平衡測試集兩種情況。采用RS、CUA和