各種分類(lèi)方法在垃圾短信識(shí)別中的應(yīng)用.pdf

1、隨著科技的進(jìn)步，短信、郵件成生活不可缺少的一部分，信息技術(shù)在不斷改變著我們的生活，讓我們的生活更方便，與此同時(shí)也常遭受它帶給我們的各種困擾。在日常生活中會(huì)收到各種各樣的短信和郵件，其中就包括垃圾短信、郵件，這些垃圾短信、郵件可能存在一定的攻擊，給信息、財(cái)產(chǎn)安全帶來(lái)威脅，人們?cè)诓粩鄧L試使用現(xiàn)有的技術(shù)對(duì)這些垃圾進(jìn)行識(shí)別，希望得到比較高的準(zhǔn)確率。對(duì)垃圾短信、郵件的識(shí)別其實(shí)是一種文本挖掘，對(duì)于文本挖掘，文本處理和分類(lèi)技術(shù)都是特別重要的，本文主要

2、是從這兩方面出發(fā)的。
　　在文中，首先對(duì)文本數(shù)據(jù)的處理方法做了介紹，其中包括特征詞集合選取、特征詞集合空間向量模型的構(gòu)造;然后，對(duì)Logistic、支持向量機(jī)、樸素貝葉斯、決策樹(shù)、k近鄰以及組合分類(lèi)方法的原理作了闡述，并對(duì)這些方法中的重點(diǎn)問(wèn)題作了介紹，同時(shí)針對(duì)本文使用的短信文本數(shù)據(jù)是不平衡的問(wèn)題，在文中介紹了不平衡問(wèn)題分類(lèi)器預(yù)測(cè)效果評(píng)價(jià)的可選度量，如準(zhǔn)確率、召回率、真正率等;最后，使用來(lái)自于https://www.kaggle.c

3、om/uciml/sms-spam-collection-dataset的英文短信文本數(shù)據(jù)，建立特征詞的空間向量模型，應(yīng)用文中的分類(lèi)方法，建立各種分類(lèi)器，通過(guò)十次交叉驗(yàn)證比較各種分類(lèi)器預(yù)測(cè)效果的好壞。對(duì)于分類(lèi)器預(yù)測(cè)效果的比較，本文主要采用準(zhǔn)確率、正常短信的召回率、垃圾短信的召回率三個(gè)指標(biāo)作為評(píng)斷標(biāo)準(zhǔn)。
　　通過(guò)比較發(fā)現(xiàn)各種分類(lèi)器準(zhǔn)確率和正常短信的召回率都很高而且?guī)缀鯖](méi)有差別，但垃圾短信的召回率存在較大差異，其中樸素貝葉斯的最高，k