基于LSA和MD5算法的垃圾郵件過濾系統(tǒng)研究.pdf

1、隨著Internet的迅速普及，垃圾郵件問題引起了社會(huì)廣泛的關(guān)注。目前解決垃圾郵件問題有眾多的途徑和思路，其中基于內(nèi)容的垃圾郵件過濾是一個(gè)較為重要的方法。 本文采用潛在語義分析方法(LSA)，通過對(duì)郵件樣本集進(jìn)行訓(xùn)練，用其產(chǎn)生的分類器對(duì)待測(cè)郵件內(nèi)容進(jìn)行文本分類、信息過濾，從而獲取垃圾郵件。但LSA在權(quán)重計(jì)算上多繼承向量空間模型，忽視了其自身特點(diǎn)，導(dǎo)致缺乏文檔先驗(yàn)信息和文檔全局信息植入，使得在實(shí)際應(yīng)用中過分機(jī)械。為了解決這個(gè)問題，

2、本文通過引入一種新的權(quán)重函數(shù)來改進(jìn)原有方法，使得基于主動(dòng)學(xué)習(xí)的潛在語義分析方法能構(gòu)造出更適合于實(shí)際應(yīng)用的垃圾郵件過濾系統(tǒng)。通過實(shí)驗(yàn)表明，采用擴(kuò)展權(quán)重計(jì)算方法的LSA，在性能上優(yōu)于傳統(tǒng)權(quán)重計(jì)算方法的LSA。 針對(duì)現(xiàn)階段多數(shù)垃圾郵件主體或發(fā)信人地址常動(dòng)態(tài)改變，其正文及附件內(nèi)容卻基本一致，而在擁有數(shù)萬用戶的大型局域網(wǎng)中，垃圾郵件普遍以群發(fā)的方式在網(wǎng)內(nèi)傳播這些現(xiàn)象，本文利用Message-DigestAlgorithm 5(MD5)，在

3、LSA分析的基礎(chǔ)上，對(duì)群發(fā)型垃圾郵件生成“郵件指紋”，以解決過濾技術(shù)在處理群發(fā)型垃圾郵件中低效的問題，進(jìn)一步提高了垃圾郵件系統(tǒng)識(shí)別的準(zhǔn)確率。 文中采用中國(guó)反垃圾郵件聯(lián)盟收集的數(shù)據(jù)集，對(duì)基于LSA和MD5算法的垃圾郵件過濾系統(tǒng)進(jìn)行測(cè)試評(píng)估，經(jīng)與Naive Bayes算法過濾器進(jìn)行比較，證明該方法在垃圾郵件過濾上優(yōu)于Naive Bayes方法，并通過實(shí)驗(yàn)驗(yàn)證了該方法的可行性、優(yōu)越性。 但是，本文所作的都是基于實(shí)驗(yàn)環(huán)境下的，要