基于支持向量機(jī)和稀疏技術(shù)的中文垃圾郵件分類研究.pdf

1、隨著互聯(lián)網(wǎng)的日益普及,電子郵件服務(wù)的應(yīng)用也越來越廣泛,但是垃圾郵件問題帶來許多不便和巨大浪費(fèi)。如何有效的對垃圾郵件進(jìn)行過濾,已成為互聯(lián)網(wǎng)信息安全領(lǐng)域亟需解決的一個難題,對垃圾郵件過濾理論及技術(shù)進(jìn)行研究具有相當(dāng)重要的現(xiàn)實(shí)意義。目前,垃圾郵件過濾技術(shù)的主要研究重點(diǎn)是基于郵件內(nèi)容分析的郵件過濾技術(shù)。
　　基于郵件內(nèi)容的中文垃圾郵件過濾方法主要包括以下幾個方面:郵件正文中文文本分詞、中文文本表示、文本特征詞條選擇以及分類技術(shù)幾個部分。針對

2、垃圾郵件過濾中的郵件數(shù)據(jù)維度高且稀疏的特點(diǎn),本文首先對文本特征選擇的相關(guān)技術(shù):信息增益法、互信息法和開方分布等方法以及正則化技術(shù)中Lasso理論方法進(jìn)行了深入研究,并將帶有l(wèi)1范數(shù)的懲罰最小二乘方法,也即最小絕對收縮與選擇算子(Least Absolute Shrinkage Selection Operator, Lasso)引入到文本特征選擇中,利用Lasso方法的系數(shù)約減特性,來完成文本特征詞條的選擇。
　　支持向量機(jī)(SV

3、M)方法在文本分類跟垃圾郵件過濾中早已得到了廣泛的應(yīng)用,對于支持向量機(jī)的研究,特別是對支持向量機(jī)核函數(shù)方面的研究,一直是機(jī)器學(xué)習(xí)的研究熱點(diǎn)。一般來說,在支持向量機(jī)中經(jīng)常使用到的核函數(shù)有:線性核函數(shù)、多項式核函數(shù)和徑向基核函數(shù)(高斯核函數(shù))等。Q-高斯函數(shù)是一種帶有參數(shù) Q的一般化的高斯函數(shù),在理論應(yīng)用中有一些高斯函數(shù)所不具有的特性,本文對 Q-高斯函數(shù)進(jìn)行了深入的理論分析,將Q-高斯函數(shù)引入到SVM,構(gòu)建Q-高斯SVM分類模型用于垃圾郵

4、件過濾,使用 TREC06C和 CDSCE中文郵件測評數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明 Q-高斯SVM用于垃圾郵件過濾具有較好的分類性能。
　　在應(yīng)對真實(shí)世界中的誤分類代價不同以及正負(fù)樣本分布不平衡的問題,代價敏感學(xué)習(xí)方法開始受到越來越多人的重視,在垃圾郵件過濾問題中,正常郵件跟垃圾郵件的誤分代價差異很大,而且在實(shí)際生活中,垃圾郵件的數(shù)量也往往占據(jù)絕大多數(shù),此時代價敏感的學(xué)習(xí)方法就顯得尤為重要。本文將Lin等人提出的代價敏感SVM(