協(xié)作式垃圾郵件過濾關鍵技術研究.pdf

1、隨著Internet的迅速普及，電子郵件已經(jīng)成為人們進行信息交流的重要手段之一，它極大地方便了人們的工作、學習和生活。但近年來，垃圾郵件的泛濫愈演愈烈，對Internet的良性發(fā)展造成了很大危害，如何有效地抑制垃圾郵件的傳播已經(jīng)成為相關領域的重要研究課題。
　　 本文從國內垃圾郵件泛濫的現(xiàn)狀出發(fā)，以垃圾郵件過濾中的關鍵技術為研究內容，重點對中文郵件特征項的構造、基于支持向量機郵件分類算法和基于P2P網(wǎng)絡的垃圾郵件樣本共享策略進行

2、了研究：
　　 1.為了解決中文垃圾郵件過濾中分詞這一瓶頸問題，本文提出一種交叉N元組特征項構造策略，可以避免中文分詞不準確對過濾器性能的影響，同時在一定程度上克服了傳統(tǒng)特征項提取中特征項獨立性假設與實際情況不符的缺陷。為了驗證該策略的有效性，使用樸素貝葉斯分類器在開放中文郵件語料庫上進行實驗，實驗證明該策略具有較強的抗干擾性，可以在一定場景下識別通過文字處理進行偽裝的垃圾郵件。
　　 2.在統(tǒng)計學習理論和支持向量機分類

3、算法的研究基礎上，通過翔實的實驗，驗證了支持向量機在垃圾郵件分類中的有效性，通過分析各種核函數(shù)、訓練樣本分布對分類性能的影響，根據(jù)中文郵件分類的特殊要求，提出一種代價敏感支持向量機，通過調整學習機參數(shù)可以有效降低垃圾郵件過濾假陽性率，使支持向量分類算法更加符合垃圾郵件過濾這一特定應用需求。
　　 通過分析支持向量機在垃圾郵件分類時錯誤分類樣本的分布特性，提出一種將分類結果劃分為正常郵件、垃圾郵件和可疑郵件3個類別的改進分類算法，

4、可以使支持向量機進行垃圾郵件過濾時進一步降低對正常郵件的誤判，提高分類器的實用性。
　　 3.為了保證垃圾郵件過濾技術在實際應用中的有效性，過濾器必須及時跟蹤垃圾郵件語義特征的變化，且目前對圖片格式垃圾郵件的過濾仍以相似圖片檢測為基礎，這兩個問題都需要以相對完備的垃圾郵件樣本為基礎，因此必須實現(xiàn)垃圾郵件樣本的共享。在深入研究全分布式結構化P2P技術以及各種分布式哈希表路由算法基礎上，針對結構化P2P無法實現(xiàn)資源的模糊查詢的缺點，

5、結合相似文本檢測技術、相似圖像檢測技術，提出一種擴展路由策略。該策略通過擴展DHT路由策略，基于Chord路由算法實現(xiàn)了相似文本和相似圖像在結構化P2P網(wǎng)絡中的聚集存儲，滿足分布式存儲中負載均衡的要求，并在此基礎上實現(xiàn)了結構化P2P網(wǎng)絡中垃圾郵件樣本的高效共享。
　　 最后，針對單點、單種反垃圾郵件技術過濾能力有限的情況，結合上述關鍵技術的研究，提出一種多層次組合、多點協(xié)作的過濾系統(tǒng)體系，以期達到對各種垃圾郵件更加有效地進行過濾