機(jī)器學(xué)習(xí)方法在基于內(nèi)容的垃圾郵件過(guò)濾中的研究.pdf

1、高精度的垃圾郵件過(guò)濾技術(shù)是最近自然語(yǔ)言處理的研究熱點(diǎn)、在這篇論文中我們?cè)谂c指導(dǎo)機(jī)器學(xué)習(xí)（Supervised Machine Learning）的框架下使用統(tǒng)計(jì)的方法研究垃圾郵件過(guò)濾問(wèn)題、本文系統(tǒng)地研究了不同統(tǒng)計(jì)特征選取的方法和特征集大小對(duì)常用分類(lèi)算注性能的影晌。特別地，本文觀察到特征選取函數(shù)的重要性隨分類(lèi)器的不同差別很大。以常用的樸素貝時(shí)斯（Naive BayeS）分類(lèi)器為例，我們觀察到其性能在小特征集上受特征選取函數(shù)影響很大。支撐向

2、量機(jī)（SuPPort VeCtor Machine），AdaBoost和最大嫡模型在郵件分類(lèi)上取得了很好的效果：對(duì)特征選取函數(shù)不敏感，很容易擴(kuò)展到高維特征空間，在不同測(cè)試集上的分類(lèi)效果穩(wěn)定。此外，試驗(yàn)還表明簡(jiǎn)單的“bag of words”過(guò)濾模型對(duì)垃圾郵件過(guò)濾有很好的效果，尤其擁有與語(yǔ)言無(wú)關(guān)的特性。我們對(duì)中文語(yǔ)料進(jìn)行了簡(jiǎn)單的預(yù)處理（分詞）之后就取得了很好的分類(lèi)效果。試驗(yàn)中還發(fā)現(xiàn)郵件信頭中的特征對(duì)分類(lèi)效果有顯著影晌。在僅使用郵件信頭中的