微博垃圾評(píng)論識(shí)別方法研究.pdf

1、垃圾評(píng)論是指用戶(hù)發(fā)布的與博文無(wú)關(guān)的，或沒(méi)有意義的，或蓄意發(fā)表的評(píng)論信息。早期常采用人工識(shí)別方法來(lái)識(shí)別，主要有基于驗(yàn)證碼、審核機(jī)制兩種;中期采用自動(dòng)識(shí)別方法來(lái)識(shí)別，主要有基于關(guān)鍵詞、基于鏈接數(shù)量和基于相關(guān)度閾值的方法;近期先采用基于規(guī)則方法過(guò)濾掉超鏈接、特殊字符等明顯的顯式垃圾評(píng)論，然后采用基于主題特征的方法結(jié)合分類(lèi)器進(jìn)行微博垃圾評(píng)論識(shí)別。
　　目前常采用的微博數(shù)據(jù)獲取方法主要有網(wǎng)絡(luò)爬蟲(chóng)和微博開(kāi)放平臺(tái)API兩種，前者速度慢，處理本文

2、所需實(shí)驗(yàn)數(shù)據(jù)需要花費(fèi)大量的時(shí)間，而后者的訪問(wèn)次數(shù)受到微博平臺(tái)服務(wù)器的限制，兩種方法獲取實(shí)驗(yàn)數(shù)據(jù)都不是很理想。所以，本文提出了一種基于cookie與正則表達(dá)式的方法獲取實(shí)驗(yàn)所需的數(shù)據(jù)，包括微博原文、微博作者信息和微博評(píng)論。本文設(shè)計(jì)采用以上兩種常用方法和本文提出方法獲取經(jīng)過(guò)微博認(rèn)證的用戶(hù)名為王寶強(qiáng)發(fā)表的主題為離婚微博的評(píng)論數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明，本方法相較于兩種常用方法，不僅操作相對(duì)簡(jiǎn)單，而且數(shù)據(jù)獲取速度較快。
　　微博及其評(píng)論的字符受到

3、限制，最多只有140字，內(nèi)容相對(duì)短小，微搏的主題特征并不是特別明顯，對(duì)微博中垃圾評(píng)論進(jìn)行識(shí)別不能只考慮評(píng)論和微博之間的相關(guān)程度，因?yàn)閱我坏囊蛩乜紤]會(huì)增加垃圾評(píng)論的誤判率。因此，本文嘗試使用協(xié)同訓(xùn)練方法來(lái)增強(qiáng)分類(lèi)器性能，提出一種基于Co-Training協(xié)同訓(xùn)練的垃圾評(píng)論識(shí)別方法。對(duì)于微博原文和微博作者信息，本文進(jìn)行預(yù)處理后得到的相關(guān)信息詞組，與微博特有情感詞匯以及大連理工信息檢索實(shí)驗(yàn)室的情感詞匯本體中情感強(qiáng)度大于5的情感詞構(gòu)成特征詞匯庫(kù)

4、。對(duì)于微博評(píng)論，本文通過(guò)定義的基于規(guī)則識(shí)別方法過(guò)濾出顯式垃圾評(píng)論，對(duì)于剩下的相關(guān)評(píng)論進(jìn)行預(yù)處理后，一方面，得到相關(guān)評(píng)論詞組，和構(gòu)造的特征詞匯庫(kù)通過(guò)同義詞詞林相似度計(jì)算方法計(jì)算出結(jié)果，送入AdaBoost分類(lèi)器，另一方面，進(jìn)行特征提取，得到評(píng)論特征作為特征向量來(lái)訓(xùn)練SVM分類(lèi)器。最后將兩分類(lèi)器通過(guò)基于微博垃圾評(píng)論的Co-Training協(xié)同訓(xùn)練算法進(jìn)行協(xié)同訓(xùn)練，用訓(xùn)練好的模型來(lái)判斷評(píng)論是否為垃圾評(píng)論。
　　本方法在提高分類(lèi)精度的同時(shí)