基于文本分類的多層次垃圾短信過濾系統(tǒng)研究.pdf

1、近年來,手機(jī)短信受到廣大用戶的青睞,但此項業(yè)務(wù)產(chǎn)生的垃圾短信也嚴(yán)重困擾著人們的生活,干擾著正常的社會秩序,因此,各電信運營商紛紛出臺垃圾短信過濾系統(tǒng),以打擊垃圾短信的嚴(yán)重泛濫。目前常用的過濾方法主要有黑白名單過濾機(jī)制,基于短信長度及流量的過濾機(jī)制,基于關(guān)鍵字匹配的過濾機(jī)制,以及基于文本分類智能算法的過濾機(jī)制,這些機(jī)制雖然在一定程度上遏制了垃圾短信的泛濫,但仍具有明顯的缺陷和不足。
　　本文受生物免疫系統(tǒng)的啟發(fā),借鑒生物免疫原理,提

2、出了基于文本分類的多層次垃圾短信過濾系統(tǒng)的設(shè)計,系統(tǒng)分為幾個模塊,逐層過濾,環(huán)環(huán)相扣,使垃圾短信無處遁形。本文所做的工作以及創(chuàng)新點如下: (1)分析了垃圾短信的研究現(xiàn)狀,包括成因、危害和主要特征,并對國內(nèi)外現(xiàn)有的垃圾短信過濾機(jī)制進(jìn)行了總結(jié),探討了各種機(jī)制的優(yōu)缺點。
　　(2)詳細(xì)介紹了垃圾短信過濾關(guān)鍵技術(shù),包括文本預(yù)處理、中文分詞以及特征選擇等技術(shù)。詳細(xì)闡述了生物免疫系統(tǒng)原理以及由此開發(fā)的人工免疫算法,并對傳統(tǒng)的算法進(jìn)行了改進(jìn),簡

3、化了抗體和抗原的表示方法和計算方式,使親和力的計算更加簡單,節(jié)約了內(nèi)存,提高了匹配速度。
　　(3)設(shè)計了一個基于文本分類的多層次垃圾短信過濾系統(tǒng),系統(tǒng)由黑白名單模塊、短信長度及流量門限模塊、內(nèi)容快速匹配模塊和人工免疫模塊構(gòu)成,制定了各模塊的主要功能和系統(tǒng)的處理流程。
　　(4)人工免疫模塊通過對數(shù)據(jù)庫里的短信進(jìn)行訓(xùn)練,抗體自體耐受生成合格檢測器,對短信進(jìn)行分類,還可以通過變異機(jī)制不斷更新短信特征樣本庫,維持短信樣本庫的生命