基于偏最小二乘方法的垃圾郵件過濾研究.pdf

1、隨著電子郵件應用越來越普遍，垃圾郵件問題已經有愈演愈烈之勢，嚴重地影響了電子郵件的正常使用。因此，垃圾郵件過濾技術的研究有著十分重要的實用價值。 近年來，基于機器學習方法自動構建個性化的過濾模型已經成為垃圾郵件過濾研究重點之一。運用機器學習方法，也就是預先人工判定郵件的類別，將垃圾郵件過濾當作文本分類的一個分支來處理。因為訓練過程中同時使用了正常郵件和垃圾郵件的特征，所以最終生成的過濾器可以自適應不同用戶的郵件分布。許多機器學習

2、方法已經應用到了垃圾郵件過濾領域，取得了較為滿意的結果，但由于每封郵件中的詞很少，對大量郵件進行處理時很容易產生高維的特征空間，而其中大部分詞出現的次數很少，從而會產生嚴重的數據稀疏性；同時，郵件中經常出現同義詞或者近義詞，而且很多郵件的內容非常類似，因此在郵件的內容之間容易出現嚴重的多重相關性。針對這些問題，本文提出一種基于偏最小二乘（PLS）的特征抽取方法。 新方法的基本思想是：通過分析郵件原始特征與對應類別之間的關系求解二

3、者之間協(xié)方差的最大化問題。對高維的原始特征進行多次線性組合的迭代處理，并用偏最小二乘回歸函數進行擬合，分別提取出最能反映原高維數據的特征向量組合，從而達到降低特征維數和克服多重相關性的目的。然后應用交叉有效性算法得到最佳的特征維數后用提取出的向量構造新的向量空間。 本文采用CEAS2006的基準數據集——Enron—Spam數據集進行了過濾實驗，并與目前常用的X2特征選擇方法進行了對比實驗，實驗結果表明，新方法在較低維數上可以獲