基于內(nèi)容的垃圾郵件檢測特征降維算法研究.pdf

1、當今社會，電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ藕徒涣鞯闹匾绞街?，但是垃圾郵件也伴隨著互聯(lián)網(wǎng)信息技術的發(fā)展而嚴重泛濫，帶來諸多危害?；趦?nèi)容的垃圾郵件檢測是目前最主流的反垃圾郵件技術之一，在反垃圾郵件領域得到了廣泛應用。
　　 特征降維是基于內(nèi)容的垃圾郵件檢測中的一項關鍵技術。由于通常使用向量空間模型來表示郵件文本，特征向量空間通常呈現(xiàn)高維特性，引發(fā)“維數(shù)災難”。因此，必須對原始高維特征空間進行降維處理。文本特征降維方法一般分為

2、兩類:特征提取和特征選擇。特征選擇算法因其實現(xiàn)簡單，計算復雜度小，性能比較好等優(yōu)點，被廣泛應用在基于內(nèi)容的垃圾郵件檢測中。
　　 常用的特征選擇算法如信息增益(IG)，卡方統(tǒng)計(CHI)等，均基于特征項之間相互獨立的假設，只考慮了特征項與目標類別之間的關聯(lián)度來構造評價函數(shù)，而忽略了實際情況下，不同特征項之間存在不同程度的關聯(lián)，使得特征子集中存在了大量的冗余，因而分類性能不夠理想。
　　 文本采用互信息量(MI)來衡量特征

3、項之間的冗余程度，提出了一種新型的特征選擇算法OMFS（OCFS-mRMR Feature Seleetion）。實驗證明，OMFS算法能夠保持很高的計算效率，有效去除特征子集中的冗余，使垃圾郵件的分類性能得到很大的改善。
　　 本文的主要工作和創(chuàng)新點主要有以下幾點:
　　 (1)針對垃圾郵件特征空間冗余問題，從文本分類領域引入mRMR特征選擇算法并對其進行改進，提出了一種新型的特征選擇算法——OMFS。
　　

4、(2)基于matlab平臺，WEKA Java API和Eclipse開發(fā)環(huán)境，通過程序設計，構建了基于內(nèi)容的垃圾郵件檢測仿真實驗系統(tǒng)?；谥杏⑽奈宸N不同的公共垃圾郵件語料庫和三種分類算法，設計并實現(xiàn)了一系列垃圾郵件檢測分類對比實驗。
　　 (3)采用分類精準度和CPU實時運算時間作為評價指標，并從有效性和計算效率兩個方面對實驗結果進行了科學、詳細的分析，總結了實驗規(guī)律，驗證了OMFS特征選擇算法能夠有效去除特征項之間的冗余同時