基于最大熵模型的垃圾郵件過濾系統(tǒng)研究.pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ?、交流的重要手段之一，但垃圾郵件的泛濫已帶來嚴(yán)重后果，有效地區(qū)分合法郵件和垃圾郵件成為一項緊迫的任務(wù)。 近年來，有關(guān)垃圾郵件過濾技術(shù)的研究逐漸興起，常見的過濾方法有黑／8名單技術(shù)、規(guī)則過濾等，但由于垃圾郵件的特征在不斷地變化，規(guī)則難以維護(hù)、準(zhǔn)確率不高等原因，這些方法都具有一定的局限性。目前，把垃圾郵件過濾與機器學(xué)習(xí)、文本分類和信息過濾技術(shù)結(jié)合起來，對郵件正文內(nèi)容進(jìn)行分析，成為研究的熱點。基于內(nèi)容

2、的分析能夠自動獲得垃圾郵件的特征，是一種更為精確的垃圾郵件過濾技術(shù)。 本文首先介紹了垃圾郵件過濾技術(shù)的研究背景，重點對目前常用的基于內(nèi)容的垃圾郵件過濾算法進(jìn)行了分析、比較。在此基礎(chǔ)上，對郵件進(jìn)行預(yù)處理，將其表示成XML格式，為面向郵件的應(yīng)用程序開發(fā)提供了統(tǒng)一的結(jié)構(gòu)化表示。 最大熵模型是一個比較成熟的統(tǒng)計模型，其計算模型獨立于特定的任務(wù)，具有簡潔、通用和易于移植等特點，近年來在自然語言處理領(lǐng)域得到了廣泛應(yīng)用。 本文

3、的重點工作是將最大熵方法應(yīng)用到垃圾郵件過濾中，提出了基于最大熵的垃圾郵件過濾系統(tǒng)的基本框架；結(jié)合郵件的半結(jié)構(gòu)化特性，提取郵件的結(jié)構(gòu)特征、正文特征，對郵件內(nèi)容進(jìn)行初步的信息抽取，將郵件表示成郵件特征向量，并對使用不同特征集情況下的過濾性能進(jìn)行了對比實驗；改進(jìn)傳統(tǒng)最大熵模型中的特征函數(shù)定義，實驗結(jié)果表明詞頻特征函數(shù)具有較好的過濾性能；引入N-gram中性能較好的平滑算法對最大熵模型進(jìn)行平滑，解決“稀疏”事件問題，對絕對折扣和高斯先驗兩種平滑

4、算法進(jìn)行了對比；提出了過濾模型的自適應(yīng)調(diào)整和學(xué)習(xí)算法，以適應(yīng)郵件特征的變化，滿足用戶的個性化過濾要求；將最大熵方法與其它常用的垃圾郵件過濾方法進(jìn)行了性能比較，實驗結(jié)果表明，這種方法在召回率、正確率、Fl值、錯誤率等方面表現(xiàn)出了良好的過濾性能。 最后，將基于最大熵的垃圾郵件過濾方法與Outlook提供的PIA相結(jié)合，開發(fā)出一個垃圾郵件過濾插件，在客戶端用最大熵方法實現(xiàn)了基于內(nèi)容的垃圾郵件過濾，較好地幫助用戶解決了垃圾郵件泛濫的問題