基于集成學(xué)習(xí)的垃圾短信多級(jí)分類技術(shù)研究.pdf

1、近年來手機(jī)短信以其廉價(jià)性和方便快捷性的特點(diǎn)越來越成為人們所喜愛的一種聯(lián)絡(luò)方式，短信的應(yīng)用也從最初的人與人之間的溝通工具漸漸地?cái)U(kuò)展到了一種服務(wù)的提供方式，如航班查詢、天氣預(yù)報(bào)訂閱等。雖然手機(jī)短信業(yè)務(wù)的爆發(fā)式增長(zhǎng)帶給人們的生活極大的便利，但是與此同時(shí)，隨之而來的大量的垃圾手機(jī)短信也逐漸對(duì)人們的生活產(chǎn)生極大負(fù)面影響。垃圾短信的泛濫不僅干擾人們的正常生活，同時(shí)給社會(huì)穩(wěn)定帶來了不利影響。
　　本文以垃圾短信過濾技術(shù)為研究對(duì)象，首先介紹了垃圾

2、短信過濾的傳統(tǒng)技術(shù)的基本原理，如黑白名單法、關(guān)鍵詞過濾法和基于內(nèi)容識(shí)別的機(jī)器學(xué)習(xí)法，以及它們各自的優(yōu)缺點(diǎn)，并且著重比較了各種不同的機(jī)器學(xué)習(xí)算法對(duì)于垃圾短信的分類能力。其次，本文介紹了旨在提高短信分類的穩(wěn)定性和準(zhǔn)確性的各種集成學(xué)習(xí)多級(jí)分類方法，并且以 Stacking作為我們的短信過濾系統(tǒng)的集成學(xué)習(xí)算法，通過實(shí)驗(yàn)兩種集成策略，我們最終得到了一個(gè)比較有效的短信分類系統(tǒng)。本文的主要工作體現(xiàn)在如下幾個(gè)方面：
　　（1）通過實(shí)驗(yàn)分析比較了各

3、種機(jī)器學(xué)習(xí)算法對(duì)垃圾短信的分類能力以及它們的優(yōu)缺點(diǎn)。
　　（2）提出了一種分類器訓(xùn)練策略，通過合并那些容易混淆的類別的數(shù)據(jù)作為訓(xùn)練集訓(xùn)練出第一級(jí)分類器，然后再將這些容易混淆的類別的數(shù)據(jù)提取出來作為另外一個(gè)訓(xùn)練集訓(xùn)練出第二級(jí)分類器，使用兩級(jí)分類策略有助于分類效果的提高。
　?。?）提出了一種基于互信息的特征選擇改進(jìn)算法，使用改進(jìn)后的算法后取得良好的效果。
　?。?）采用Stacking集成學(xué)習(xí)技術(shù)集成了多個(gè)基本分類器，并