基于機(jī)器學(xué)習(xí)理論的垃圾郵件過濾系統(tǒng)的研究與改進(jìn).pdf

1、分類問題是機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究中最重要的問題之一,其中文本自動(dòng)分類是信息檢索與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)與核心技術(shù),近年來得到了廣泛的研究和快速的發(fā)展。論文介紹了垃圾郵件的危害性以及常見的過濾技術(shù),分析了現(xiàn)有的垃圾郵件過濾技術(shù)與普通的文本分類問題之間存在的異同。同時(shí)還分析了當(dāng)前這些垃圾郵件過濾技術(shù)的優(yōu)點(diǎn)與不足,并針對這些原因提出了一些解決的辦法。論文提出一種基于靜態(tài)過濾和集成機(jī)器學(xué)習(xí)的郵件過濾系統(tǒng)的設(shè)計(jì)方案,最后通過實(shí)驗(yàn)驗(yàn)證了方案的有效性

2、。論文的主要內(nèi)容有:
　　(1)分析和總結(jié)了目前基于內(nèi)容的垃圾郵件過濾技術(shù)的現(xiàn)狀,從文本表示、特征選擇、分類算法、評價(jià)體系等方面分析和總結(jié)了文本分類中不同方法之間的技術(shù)特點(diǎn)、發(fā)展趨勢和可改進(jìn)的地方。
　　(2)特征過多會(huì)使訓(xùn)練集噪音過大,規(guī)則學(xué)習(xí)難度增大,時(shí)間耗費(fèi)過多,尤其是規(guī)則學(xué)習(xí)精度降低。但目前有關(guān)特征的主要研究集中在特征提取上,而有關(guān)特征約簡的研究較少。論文提出了一種基于粗糙集理論的特征約簡算法。該算法以特征提取時(shí)計(jì)算

3、得到的特征交叉熵為啟發(fā)信息,將特征與粗糙集中的屬性聯(lián)系起來,采用粗糙集屬性約簡算法降低了特征維數(shù),提高郵件處理效率。
　　(3)設(shè)計(jì)了一個(gè)基于靜態(tài)過濾和集成機(jī)器學(xué)習(xí)的郵件過濾系統(tǒng)。在靜態(tài)過濾和粗糙集特征約簡的基礎(chǔ)上,通過規(guī)則庫或者樸素貝葉斯和支持向量機(jī)兩種方法的集成學(xué)習(xí)來判定郵件類別,并且不斷更新系統(tǒng)的規(guī)則庫,同時(shí)根據(jù)兩種方法各自的判定結(jié)果來調(diào)整它們在合成公式中的權(quán)重。最終無論規(guī)則庫還是合成公式都更加有針對性和實(shí)用性。
　　

4、(4)在Windows操作系統(tǒng)下用Visual Studio.Net2005開發(fā)環(huán)境實(shí)現(xiàn)了本文提出的基于靜態(tài)過濾與機(jī)器學(xué)習(xí)的垃圾郵件過濾系統(tǒng),并且給出了過濾系統(tǒng)功能模塊的具體設(shè)計(jì)。通過KeyLib和CDSCE June2005兩份郵件語料庫對系統(tǒng)進(jìn)行詳細(xì)的效果測試,并從查全率、準(zhǔn)確率、精確率和F值多個(gè)指標(biāo)證實(shí)了該系統(tǒng)的高效性及實(shí)用性。
　　本文的主要?jiǎng)?chuàng)新有以下幾點(diǎn):
　　(1)將粗糙集理論與特征提取相結(jié)合,提出了一種基于粗糙

5、集屬性約簡的特征提取算法。該算法以特征交叉熵為啟發(fā)信息,能夠有效的約簡大量的冗余特征,提高選取特征的代表性,降低特征維數(shù),減少郵件判定時(shí)間,并且提高郵件過濾準(zhǔn)確性。
　　(2)提出了基于樸素貝葉斯和SVM方法的集成學(xué)習(xí)算法。同一封郵件兩種方法分別學(xué)習(xí),結(jié)果通過合成公式合成。初始系數(shù)均為0.5,通過大量語料庫的學(xué)習(xí)不斷調(diào)整兩種方法的結(jié)果合成權(quán)重,最終達(dá)到針對該用戶最合適的系數(shù)權(quán)重。
　　(3)規(guī)則庫會(huì)隨著郵件的變化而相應(yīng)調(diào)整。