基于核偏最小二乘特征提取的垃圾郵件過濾方法的研究.pdf

1、電子郵件是當(dāng)前互聯(lián)網(wǎng)上使用最為廣泛的服務(wù)之一，隨著互聯(lián)網(wǎng)及應(yīng)用的不斷發(fā)展，垃圾郵件大量蔓延，造成社會(huì)生產(chǎn)力的極大浪費(fèi)。因此垃圾郵件過濾非常必要，具有重要的理論意義和社會(huì)應(yīng)用價(jià)值，成為信息內(nèi)容安全及信息處理等領(lǐng)域廣受關(guān)注的研究課題。
　　目前,基于內(nèi)容的垃圾郵件過濾技術(shù)是該領(lǐng)域的研究重點(diǎn)之一，將郵件過濾作為有監(jiān)督學(xué)習(xí)，即分類問題來處理，構(gòu)成文本分類的一個(gè)分支。許多機(jī)器學(xué)習(xí)方法已應(yīng)用到垃圾郵件過濾領(lǐng)域，并取得了較好的郵件過濾效果，但是

2、基于向量空間模型表示的郵件數(shù)據(jù)具有高維、稀疏及詞條相關(guān)（同義詞）等特點(diǎn)，造成分類器的泛化能力降低或失效，所以有必要對(duì)郵件數(shù)據(jù)進(jìn)行降維及相關(guān)處理。特征提取是一種重要的數(shù)據(jù)降維方式，如主成分分析(PrincipalComponentAnalysis,PCA)和偏最小二乘(PartialLeastSquares，PLS)等。PCA和PLS是針對(duì)線性問題提出的，針對(duì)現(xiàn)實(shí)世界大量存在的非線性問題，“核方法”(KernelMethod)被引入到機(jī)器

3、學(xué)習(xí)領(lǐng)域，同樣PCA和PLS的核形式，即KPCA和KPLS被提出，并用于實(shí)踐，如文本挖掘、基因數(shù)據(jù)分析等，取得了巨大的成功。
　　偏最小二乘通過求取原始特征和對(duì)應(yīng)的類別特征兩者之間的協(xié)方差最大化問題，來挖掘出原始特征中的內(nèi)在聯(lián)系和隱藏特征，從而得到了一個(gè)新的低維的特征空間。核偏最小二乘在偏最小二乘的基礎(chǔ)上引入了核函數(shù)，其可以很好地用于垃圾郵件維度約減和抵消變量（詞條）相關(guān)性帶來的不利影響。
　　本文在深入分析研究垃圾郵件過濾