基于支持向量機(jī)的手機(jī)垃圾短信過濾器的研究.pdf

1、伴隨著手機(jī)由奢侈品變?yōu)槿粘Ｉ钪胁豢扇鄙俚慕涣鞴ぞ邥r(shí)，有著“拇指經(jīng)濟(jì)”之稱的短信業(yè)務(wù)也隨之得到空前快速的發(fā)展。然而，隨之產(chǎn)生的大量垃圾短信，也為我們的日常生活帶來(lái)了許多不必要的麻煩。垃圾短信這一現(xiàn)象不僅在我國(guó)大量存在，在歐美日等發(fā)達(dá)國(guó)家也廣泛存在，因此這個(gè)問題可以看作為世界性問題。 本文提出了將垃圾短信過濾問題視為文本分類問題，因此對(duì)文本分類技術(shù)做了深入的研究，提出了垃圾短信過濾（即短信分類）的關(guān)鍵技術(shù)，并且在Windows X

2、P 的Visual C++6.0和ACCESS 平臺(tái)下設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于支持向量機(jī)的、便于重組重構(gòu)并能實(shí)時(shí)統(tǒng)計(jì)分析中間結(jié)果的垃圾短信過濾系統(tǒng)。垃圾短信過濾系統(tǒng)主要包含短信分詞、特征降維、短信的文本表示和自動(dòng)分類四個(gè)模塊，短信分詞模塊主要對(duì)短信集分詞，并將詞條信息導(dǎo)入到數(shù)據(jù)庫(kù)中；特征降維模塊主要是對(duì)詞條進(jìn)行降維；短信的文本表示模塊計(jì)算詞條權(quán)重，將短信以向量空間模型的形式表示；自動(dòng)分類模塊對(duì)訓(xùn)練樣本進(jìn)行訓(xùn)練，并使用分類器對(duì)測(cè)試樣本進(jìn)行分類

3、，得出分類結(jié)果。 本文在垃圾短信過濾系統(tǒng)上對(duì)信息增益（IG）、χ2統(tǒng)計(jì)（CHI）、互信息（MI）、期望交叉熵（ECE）、文本證據(jù)權(quán)（WET）和主成分分析（PCA）幾種不同的特征降維方法進(jìn)行了比較實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明在短信分類系統(tǒng)中IG特征降維方法要優(yōu)于其他方法。并且在使用IG方法的基礎(chǔ)上，提出了一種改進(jìn)的短信的文本表示方法，分類結(jié)果更好。在該系統(tǒng)上還對(duì)支持向量機(jī)算法進(jìn)行了部分研究，并對(duì)其核函數(shù)和參數(shù)進(jìn)行了多次實(shí)驗(yàn)，選擇最適合本系統(tǒng)