垃圾短信過(guò)濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，隨著中國(guó)手機(jī)用戶數(shù)的增長(zhǎng)，手機(jī)短消息業(yè)務(wù)得到了迅猛發(fā)展，但同時(shí)垃圾短信也以非?？斓乃俣仍谠鲩L(zhǎng)。目前，垃圾短信過(guò)濾技術(shù)主要有黑名單過(guò)濾、關(guān)鍵詞過(guò)濾和基于文本分類(lèi)的內(nèi)容過(guò)濾。黑名單過(guò)濾和關(guān)鍵詞過(guò)濾能快速的過(guò)濾垃圾短信，但其過(guò)濾的準(zhǔn)確率不高；基于文本分類(lèi)的短信過(guò)濾的準(zhǔn)確率主要依賴于其訓(xùn)練樣本的數(shù)量及質(zhì)量，由于日常短信涉及個(gè)人的私隱，短信中心從不對(duì)外公布，現(xiàn)有的短信樣本很少，因此單純依靠文本分類(lèi)的短信過(guò)濾其準(zhǔn)確率也不高。同時(shí)，現(xiàn)有的過(guò)濾

2、技術(shù)都采用逐條檢測(cè)的方式，對(duì)于每天有大量短信息的短信中心來(lái)說(shuō)，其運(yùn)算量是很大的，這樣會(huì)造成短信服務(wù)中心網(wǎng)絡(luò)堵塞。因此，從現(xiàn)有的技術(shù)上來(lái)說(shuō)，垃圾短信的過(guò)濾在準(zhǔn)確率和效率方面仍然不能滿足現(xiàn)實(shí)需要。 本文將針對(duì)現(xiàn)有短信過(guò)濾技術(shù)的不足，研究有效的解決或改進(jìn)的方法，同時(shí)引入新的技術(shù)與原有的過(guò)濾技術(shù)相結(jié)合，使垃圾短信過(guò)濾系統(tǒng)能夠具有更好的過(guò)濾性能。本文所做的主要工作如下： 1.研究了應(yīng)用在垃圾短信過(guò)濾系統(tǒng)中的關(guān)鍵詞查找算法，該算法采

3、用WM算法的多模式匹配思想，通過(guò)預(yù)處理建立的哈希表來(lái)加快匹配速度，并且根據(jù)垃圾短信的特征，提出了用壓縮存儲(chǔ)的TRIE樹(shù)來(lái)組織模式串的方法，加快了查找速度。 2.分析了主要的文本分類(lèi)技術(shù)，重點(diǎn)敘述基于最小風(fēng)險(xiǎn)的貝葉斯分類(lèi)在短信過(guò)濾中的應(yīng)用。 3.提出用日志分析的方法來(lái)分析已經(jīng)過(guò)濾的短信，提取有用的數(shù)據(jù)，更新關(guān)鍵詞庫(kù)及分類(lèi)訓(xùn)練樣本，實(shí)現(xiàn)系統(tǒng)的自我優(yōu)化。 4.將貝葉斯分類(lèi)與新的過(guò)濾方法(包括流量檢測(cè)、抽樣檢測(cè)、日志分析