垃圾郵件過濾系統(tǒng)的評估系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、垃圾郵件的危害越來越大，已經(jīng)嚴(yán)重危害了人民的生活和工作。針對垃圾郵件的防范研究是當(dāng)前的一個(gè)研究熱點(diǎn)，已經(jīng)出現(xiàn)了許多優(yōu)秀的垃圾郵件過濾技術(shù)和產(chǎn)品。然而，面對眾多的垃圾郵件過濾產(chǎn)品，如何選擇一個(gè)過濾效果好而又符合用戶需求的過濾系統(tǒng)卻依然沒有一個(gè)好的依據(jù)。為此，本文以華東(北)地區(qū)網(wǎng)絡(luò)中心為實(shí)驗(yàn)環(huán)境，以客觀、公正為立足點(diǎn)，對影響垃圾郵件過濾系統(tǒng)過濾效果的評估指標(biāo)、綜合評估方法以及標(biāo)準(zhǔn)郵件集進(jìn)行了研究，并依據(jù)研究的結(jié)果，設(shè)計(jì)和實(shí)現(xiàn)一個(gè)針對垃圾郵

2、件過濾系統(tǒng)過濾能力的評估系統(tǒng)，為用戶提供一個(gè)可以信賴的選擇依據(jù)。 論文首先從現(xiàn)有的評估指標(biāo)出發(fā)，參考相關(guān)研究領(lǐng)域的成果，總結(jié)、歸納和提出了四個(gè)基本指標(biāo)，十二個(gè)合成指標(biāo)和兩個(gè)基于ROC曲線的指標(biāo)的定義、計(jì)算方法及使用范圍。在指標(biāo)的計(jì)算中，論文首次將誤報(bào)代價(jià)之比的概念應(yīng)用到其中，提出“歸一化”復(fù)合矩陣，從而屏蔽了垃圾郵件與正常郵件在重要性方面存在的巨大差異。 為給用戶提供綜合的選擇依據(jù)，論文在第三章介紹了采用模糊綜合評估方法

3、、因子分析法和基于ROC曲線的ROCCH方法來綜合評估多個(gè)過濾系統(tǒng)的原理和具體實(shí)現(xiàn)。前兩種方法以當(dāng)前的評估指標(biāo)值為依據(jù)，判定當(dāng)前配置下各過濾系統(tǒng)過濾能力的優(yōu)劣次序。最后一種方法以ROC曲線為出發(fā)點(diǎn)，判定的是不同閥值下，過濾系統(tǒng)潛在的優(yōu)劣順序。 論文在第四章討論了評測訓(xùn)練方法和標(biāo)準(zhǔn)郵件集對評估結(jié)果的影響。實(shí)驗(yàn)表明，評測訓(xùn)練方法和標(biāo)準(zhǔn)郵件集中的總郵件數(shù)量、垃圾郵件所占比例、訓(xùn)練郵件集所占比例、誤報(bào)代價(jià)比以及郵件的順序都將對評估的結(jié)果

4、產(chǎn)生較大的影響。為此，鑒于現(xiàn)有公開的標(biāo)準(zhǔn)郵件集存在較多的缺陷以及為防止過濾系統(tǒng)刻意的適應(yīng)靜態(tài)的郵件數(shù)據(jù)，論文在第五章介紹了模擬標(biāo)準(zhǔn)郵件集生成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。該系統(tǒng)能夠根據(jù)用戶的參數(shù)配置，動態(tài)生成能夠用于評估的模擬標(biāo)準(zhǔn)郵件集。 依據(jù)上述評估指標(biāo)和綜合評估方法的研究成果，第五章還介紹了評估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。依據(jù)該評估系統(tǒng)，第六章介紹了它采用生成的模擬郵件集和另一標(biāo)準(zhǔn)郵件集對六個(gè)垃圾郵件過濾系統(tǒng)的評估結(jié)果，并對評估結(jié)果進(jìn)行了分析。