基于Hadoop云平臺的垃圾郵件過濾研究與實現(xiàn).pdf

1、在信息化時代的今天，電子郵件成為了我們日常生活中最重要的交流手段之一，與其相伴而來的垃圾郵件也在日益增長。傳統(tǒng)的垃圾郵件過濾技術，如“黑白名單”、“關鍵字過濾”等方法在一定程度上實現(xiàn)垃圾郵件的過濾，然而，面對郵件用戶群體的膨脹，郵件數(shù)量急劇增長，郵件種類也日益龐雜，傳統(tǒng)的郵件過濾技術已經(jīng)捉襟見肘、后繼乏力。
　　 云數(shù)據(jù)挖掘是將數(shù)據(jù)挖掘技術與新興的云計算技術相結合。借助云平臺對大數(shù)據(jù)的高效處理能力實現(xiàn)針對海量數(shù)據(jù)的挖掘，很好的解

2、決了在海量數(shù)據(jù)訓練時存在的計算與存儲瓶頸。本文利用云數(shù)據(jù)挖掘技術實現(xiàn)垃圾郵件的過濾，不但增強了郵件過濾方法的靈活性、高效性，也使得海量的郵件數(shù)據(jù)分類成為可能。對此，本文做了以下工作。
　　 非結構郵件數(shù)據(jù)不能作為挖掘分類的原始訓練集，如何在云平臺上將其轉換為結構化描述，本文研究了基于HADOOP的文本預處理。首先，把相對孤立的數(shù)據(jù)集合并成易于云平臺處理的大文件集合;其次，采用MAPREDUCE分布式計算方式實現(xiàn)并行化分詞與特征選

3、擇;最后，通過計算特征詞的權值，給出了郵件數(shù)據(jù)的形式化描述。
　　 傳統(tǒng)的SVM算法計算模型不適合在HADOOP云平臺上進行挖掘訓練，因此，本文提出基于MAPREDUCE的SVM改進算法。其思想:利用MAPREDUCE方式計算文本向量積，并將其作為中間數(shù)據(jù)實現(xiàn)SVM算法對文本郵件的訓練，得到最優(yōu)決策平面，以此提高SVM算法的訓練速度，使得對海量文本郵件的挖掘分類成為可能。
　　 設計并開發(fā)了垃圾郵件過濾原型系統(tǒng)。系統(tǒng)主體