基于內(nèi)容挖掘的中文垃圾郵件過濾技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著因特網(wǎng)的迅猛發(fā)展，在線的可用電子信息業(yè)迅速增加，電子郵件作為一種最快捷、最經(jīng)濟(jì)的通信方式也得到了飛速發(fā)展。同時(shí)，許多垃圾郵件也在網(wǎng)絡(luò)中蔓延，占據(jù)了郵件服務(wù)器中的大量存儲(chǔ)空間，用戶往往要花費(fèi)大量的時(shí)間去刪除這些垃圾郵件。因此，研究郵件的自動(dòng)過濾具有重要的意義。 本文首先深入研究了國(guó)內(nèi)外反垃圾郵件相關(guān)文獻(xiàn)和數(shù)據(jù)，對(duì)已有的垃圾郵件過濾技術(shù)進(jìn)行了分析和總結(jié)。垃圾郵件過濾技術(shù)是反垃圾郵件的重要手段，目前主要有基于IP地址的垃圾郵件過濾

2、技術(shù)、基于規(guī)則的垃圾郵件過濾技術(shù)和基于內(nèi)容的垃圾郵件過濾技術(shù)。 本文主要研究基于內(nèi)容挖掘的中文垃圾郵件過濾技術(shù)，其中文本挖掘、郵件預(yù)處理以及分類是郵件過濾系統(tǒng)的關(guān)鍵技術(shù)，在對(duì)其基本原理和實(shí)現(xiàn)機(jī)制進(jìn)行深入研究的基礎(chǔ)上，為減少郵件的誤判對(duì)用戶造成的損害及垃圾郵件漏判造成的影響，本文提出了一個(gè)基于文本挖掘的垃圾郵件過濾框架，并針對(duì)該框架的各個(gè)部分進(jìn)行了相應(yīng)的研究和改進(jìn)。在郵件過濾系統(tǒng)的預(yù)處理部分，本文提出了一種支持首字哈希和完全二分查

3、找的改進(jìn)正向最大匹配分詞算法以提高垃圾郵件過濾系統(tǒng)的分詞速度和系統(tǒng)效率；文本特征的提取則采用滑動(dòng)窗口的優(yōu)勢(shì)率法，通過擴(kuò)大詞匯特征提取范圍來降低分類漏判率和提高分類精度。在郵件過濾系統(tǒng)的分類部分，本文提出了二項(xiàng)式模型(BIM)和多項(xiàng)式模型(MM)相結(jié)合的混合模型(HM)，應(yīng)用到最小風(fēng)險(xiǎn)貝葉斯分類器中，以降低垃圾郵件過濾系統(tǒng)分類錯(cuò)誤率，提高分類準(zhǔn)確率。 本文最后基于以上框架，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)基于內(nèi)容挖掘的中文垃圾郵件過濾原型系統(tǒng)，給