基于內(nèi)容的中文垃圾郵件過濾算法研究.pdf

1、隨著Internet的發(fā)展，電子郵件以其快捷、方便、低成本的特點(diǎn)得到了廣泛的使用，這也給一些不法分子提供了可乘之機(jī)，肆意的傳播垃圾郵件，不僅占用有限的網(wǎng)絡(luò)資源，耗費(fèi)用戶大量的時間，還對系統(tǒng)安全造成了嚴(yán)重的威脅，嚴(yán)重影響和危害人們的工作、生活和學(xué)習(xí)。垃圾郵件也不斷從內(nèi)容上和形式上改進(jìn)來逃避過濾器的識別，采用技術(shù)手段杜絕垃圾郵件的傳播已經(jīng)成為刻不容緩的事實(shí)。其中基于內(nèi)容的垃圾郵件過濾技術(shù)就是從郵件正文的角度出發(fā)設(shè)計過濾器，識別過濾垃圾郵件的

2、方法。
　　 全文主要從以下三大技術(shù)方面進(jìn)行基于內(nèi)容的垃圾郵件過濾算法的研究：
　　 (1)文本處理時特征矢量的高維性對分類效果和計算效率有重要的影響，本文在傳統(tǒng)算法研究的基礎(chǔ)上采用投票的思想，對各種算法的權(quán)值排序然后取其交集，仿真研究了維數(shù)對分類結(jié)果的影響。實(shí)驗(yàn)驗(yàn)證這種特征提取算法能很好的綜合傳統(tǒng)算法的優(yōu)點(diǎn)，達(dá)到了滿意的降維效果。
　　 (2)針對Winnow算法參數(shù)設(shè)置繁瑣及抖動的問題，提出一種自修正參數(shù)的W

3、innow形式，根據(jù)訓(xùn)練樣本判別函數(shù)與閾值的關(guān)系實(shí)時調(diào)節(jié)修正因子，實(shí)驗(yàn)驗(yàn)證該算法能較好的減少訓(xùn)練時出現(xiàn)的抖動，減弱了訓(xùn)練次數(shù)對分類結(jié)果的影響，而且它具有很好的自適應(yīng)性，提高了Winnow算法的適應(yīng)性。
　　 (3)針對KNN算法分類結(jié)果對語料集的依賴性，提出一種基于類中心的樣本剪裁方法，該方法根據(jù)語料集中樣本與樣本類中心的余弦夾角，挑選最近的樣本作為測試樣本，不僅大大減小了測試時的樣本大小，而且解決了樣本分布不均勻?qū)Y(jié)果的影響。