基于覆蓋算法的中文垃圾郵件過(guò)濾.pdf

1、Internet的發(fā)展給人們帶來(lái)了全新的網(wǎng)絡(luò)體驗(yàn)，其中的電子郵件技術(shù)也成為一種快捷、經(jīng)濟(jì)的現(xiàn)代通信手段。然而電子郵件在為人們提供便利的通信手段的同時(shí)，也日益成為廣告、病毒、惡意程序、不良信息等內(nèi)容傳播的重要載體，給人們的生活帶來(lái)了諸多不便，同時(shí)給網(wǎng)絡(luò)的安全帶來(lái)極壞的影響。因此，解決好垃圾郵件問(wèn)題具有重要的現(xiàn)實(shí)意義。 在多種反垃圾郵件的技術(shù)中，垃圾郵件過(guò)濾技術(shù)以其方便、可引入技術(shù)種類(lèi)豐富成為反垃圾郵件研究領(lǐng)域的一個(gè)熱點(diǎn)方向。現(xiàn)有的

2、垃圾郵件過(guò)濾技術(shù)主要有基于IP地址的垃圾郵件過(guò)濾、基于郵件關(guān)鍵字的過(guò)濾以及基于郵件內(nèi)容的過(guò)濾，但這些過(guò)濾方法均只單純考慮了郵件的部分信息、而忽視了其它的有用部分。本文在對(duì)以上的過(guò)濾方法進(jìn)行分析之后，綜合考慮各種過(guò)濾方式的優(yōu)點(diǎn)，提出將郵件地址、關(guān)鍵字、郵件內(nèi)容等因素同時(shí)考慮進(jìn)行垃圾郵件過(guò)濾。 本文所做的主要工作和創(chuàng)新點(diǎn)如下： 1、對(duì)電子郵件的格式進(jìn)行了較為細(xì)致的分析，并在此基礎(chǔ)上具體討論了VC環(huán)境下如何實(shí)現(xiàn)對(duì)郵件的接收和訪

3、問(wèn)； 2、本文對(duì)以往基于內(nèi)容的垃圾郵件過(guò)濾方法進(jìn)行了改進(jìn)，將內(nèi)容之外的其它各類(lèi)郵件要素，如來(lái)源地址、主題、是否具有附件以及附件類(lèi)型等，均作為郵件的特征屬性供分類(lèi)器學(xué)習(xí)。試驗(yàn)結(jié)果表明，這些屬性對(duì)于郵件類(lèi)別的確定具有重要的影響； 3、對(duì)郵件內(nèi)容進(jìn)行處理時(shí)，為了減少特征向量的維數(shù)，本文使用文本分類(lèi)中常見(jiàn)的幾種特征降維方法(文本頻度、x<'2>統(tǒng)計(jì)量方法、互信息方法、信息增益方法、期望交叉熵方法、文本證據(jù)權(quán)方泫)分別對(duì)垃圾郵件樣

4、本進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明，x<'2>統(tǒng)計(jì)量方法和期望交叉熵方法對(duì)郵件分類(lèi)最為有效，文本頻度方法和文本證據(jù)權(quán)方法稍差，而互信息方法和信息增益的方法效果最差： 4、獲得有效郵件特征向量后，必須使用合適的分類(lèi)器進(jìn)行分類(lèi)。本文首次將張鈴、張鈸教授提出的前向人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的覆蓋算法應(yīng)用到垃圾郵件過(guò)濾中。本文對(duì)使用覆蓋算法和支持向量機(jī)方法作為分類(lèi)器進(jìn)行了對(duì)比，實(shí)驗(yàn)表明覆蓋算法作為一種優(yōu)秀的分類(lèi)器，可以有效的進(jìn)行垃圾郵件過(guò)濾，具有較高的

5、正確率； 5、在垃圾郵件的過(guò)濾中存在一定的風(fēng)險(xiǎn)性，一般說(shuō)來(lái)，收件人寧愿多接收到一些垃圾郵件也不希望正常郵件被錯(cuò)判為垃圾郵件。本文從風(fēng)險(xiǎn)角度分析了覆蓋算法對(duì)測(cè)試樣本進(jìn)行分類(lèi)時(shí)的過(guò)程，根據(jù)分析結(jié)果提出對(duì)其“拒識(shí)”樣本的處理過(guò)程進(jìn)行改進(jìn)，通過(guò)改變非垃圾郵件所屬覆蓋的影響范圍，降低了垃圾郵件過(guò)濾時(shí)的風(fēng)險(xiǎn)； 6、由于各種模式識(shí)別的方法均存在自身的優(yōu)缺點(diǎn)，本文根據(jù)少數(shù)服從多數(shù)的樸素思想，對(duì)基于多種模式識(shí)別方法的投票式垃圾郵件過(guò)濾的可

6、行性進(jìn)行了探討。 本文在垃圾郵件過(guò)濾方面完成了一定的工作，但還存在一些不足，今后可以在以下方面繼續(xù)研究： 1、本文的研究對(duì)象是針對(duì)中文垃圾郵件，今后可以對(duì)非中文垃圾郵件進(jìn)行研究，將非中文垃圾郵件也納入研究范圍中； 2、本文研究的郵件是傳統(tǒng)意義上的文字形式郵件，但隨著電子郵件技術(shù)的發(fā)展，現(xiàn)在已經(jīng)存在并將會(huì)有更多的郵件形式，如何從多種郵件形式中獲得所需的過(guò)濾郵件信息，是下一步需要研究的內(nèi)容； 3、多模式識(shí)別方