基于SVM的中文電子郵件過濾方法研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，電子郵件以其快捷、方便的優(yōu)點(diǎn)逐漸發(fā)展成為人們工作和生活的重要通信工具之一。然而，隨之而來的垃圾郵件問題也日益嚴(yán)峻，它不僅傳播有害信息，而且耗費(fèi)大量的公共資源，侵害電子郵件用戶和企業(yè)的合法權(quán)益。盡管目前已經(jīng)存在許多的垃圾郵件過濾方法，但是垃圾郵件不降反升的局面表明，已有的垃圾郵件過濾方法并未取得理想的過濾效果。所以，反垃圾郵件問題已成為全球性的具有現(xiàn)實(shí)意義的問題。
　　目前的垃圾郵件過濾方法逐漸傾向于采用基于內(nèi)容的

2、機(jī)器學(xué)習(xí)判別方法，其中基于規(guī)則和基于概率統(tǒng)計(jì)的方法是其中的典型代表，這些方法實(shí)現(xiàn)簡(jiǎn)單、過濾效果好，但由于對(duì)基于內(nèi)容的垃圾郵件過濾器影響較大的因素主要是郵件的特征表示和分類器的分類速度，這些方法都無法協(xié)調(diào)過濾速度和精度的關(guān)系。
　　支持向量機(jī)是近年來得到普遍關(guān)注的一類學(xué)習(xí)機(jī)器，它以統(tǒng)計(jì)學(xué)習(xí)理論(Statistical Learning Theory,SLT)為基礎(chǔ)，廣泛應(yīng)用于語音處理、圖形檢索、文本分類等領(lǐng)域，SVM不但分類速度快、

3、精度高，而且可以有效避免“維數(shù)災(zāi)難”，是一種公認(rèn)的高效的機(jī)器學(xué)習(xí)方法。本文研究了基于內(nèi)容的SVM中文電子郵件過濾方法，主要的工作包括以下幾個(gè)內(nèi)容:
　　(1)在大規(guī)模真實(shí)實(shí)驗(yàn)數(shù)據(jù)的基礎(chǔ)上，建立了基于支持向量機(jī)的垃圾郵件過濾模型。該模型使用動(dòng)態(tài)的方法構(gòu)造特征詞典，既能有效地不斷充實(shí)垃圾郵件特征詞典，又避免了由于詞典過大或過小帶來的一系列問題，較好地表示了郵件。
　　(2)使用了向量空間模型對(duì)電子郵件進(jìn)行向量化處理。在向量化過程

4、中，針對(duì)中文電子郵件的特點(diǎn)，本文使用正向和逆向最大匹配法相結(jié)合的方法對(duì)中文電子郵件進(jìn)行分詞，另外，對(duì)特征項(xiàng)的選擇、特征詞權(quán)重的表示提出了改進(jìn)方法。
　　(3)使用fisher線性判別法對(duì)支持向量機(jī)的郵件過濾模型進(jìn)行優(yōu)化，并構(gòu)造了基于高斯核和多項(xiàng)式核的SVM優(yōu)化模型。
　　(4)在中國教育和科研網(wǎng)緊急響應(yīng)組公布的中文電子郵件數(shù)據(jù)集上對(duì)本文提出的過濾模型進(jìn)行驗(yàn)證，并與貝葉斯、決策樹郵件過濾器進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明本文的方法在各個(gè)