基于內(nèi)容的客戶端垃圾短信過濾系統(tǒng)的研究.pdf

1、當今社會垃圾短信泛濫，嚴重騷擾著手機用戶，并且為人們正常使用手機進行交流和溝通帶來了極大的不便，有些違法短信和不良短信也帶來了一定的社會危害。因此垃圾短信過濾是當今學術界研究的一大熱點也是難點，但它同時也是廣大手機用戶的迫切需求。 本文主要研究了基于內(nèi)容的垃圾短信過濾，它可以看成是一個不規(guī)則短文本的分類問題。其核心是分類算法。主要工作包括短信語料的采集和分析、過濾系統(tǒng)的研究設計、核心過濾算法的選擇和實驗、實驗系統(tǒng)的搭建和測試等。

2、 在短信語料方面，本文采集了2089條短信，并且從中選擇了部分語料進行深入分析，總結提取了短信和垃圾短信的特征，為以后的過濾研究打下了基礎。同時這些短信語料也將作為實驗系統(tǒng)的訓練和測試語料。 在系統(tǒng)框架設計中，首先考慮了實現(xiàn)途徑和過濾原則。通過對比選擇了基于客戶端的垃圾短信過濾途徑。并且根據(jù)手機用戶對垃圾短信的過濾需求，提出了垃圾短信過濾原則，即“寧可放過，不能錯殺”。 在核心過濾算法方面，借鑒了目前成熟垃圾郵件

3、過濾方法，選取了三種過濾方法，即決策樹算法、最大熵算法和顯式規(guī)則算法，并實現(xiàn)了基于PC機的垃圾短信過濾實驗系統(tǒng)。都取得了較好的過濾效果，其中決策樹算法的平均正確率為97.2％，平均召回率為96.71％。最大熵算法的平均正確率為96.55％，平均召回率為95.85％，基于顯式規(guī)則的過濾系統(tǒng)在保證了100％的正確的情況下，召回率達到76.79％。最后對三種算法從過濾效果，時間復雜度和靈活性方面進行了對比，闡述了基于顯式規(guī)則的過濾算法的優(yōu)越性