基于機器學習的流量分類

1、基于機器學習的加密流量分類研究引言引言隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，網(wǎng)絡規(guī)模逐漸增大，網(wǎng)絡應用業(yè)務類型不斷涌現(xiàn)。網(wǎng)絡應用迅速產(chǎn)生了大量流量，對網(wǎng)絡業(yè)務的識別，監(jiān)視，控制和安全管理方面帶來巨大的挑戰(zhàn)?；ヂ?lián)網(wǎng)各種應用類型有著自身的統(tǒng)計特征，通過分析這些特征，可以對網(wǎng)絡流量進行有效分類，幫助網(wǎng)絡管理人員對網(wǎng)絡流量進行控制。傳統(tǒng)的流量分類方案一般是基于數(shù)據(jù)包載荷信息，數(shù)據(jù)包頭部信息，服務端口號等，但是隨著動態(tài)端口，加密，網(wǎng)絡代理，多重封裝等技術(shù)，例如

2、，一些網(wǎng)絡惡意攻擊行為經(jīng)常采用web默認80端口進行通信，因此傳統(tǒng)分類方法受到很大挑戰(zhàn)，因此采用機器學習方法進行網(wǎng)絡流量分類成為研究熱點，根據(jù)網(wǎng)絡流屬性的統(tǒng)計特征，建立分類模型，可以有效規(guī)避上述問題，取得了很好的分類效果，受到學術(shù)界廣泛關(guān)注。相關(guān)工作相關(guān)工作目前，已經(jīng)有大量的機器學習算法被應用于網(wǎng)絡流量分類，其中有代表性的學習算法有：樸樹貝葉斯（NB），貝葉斯神經(jīng)網(wǎng)絡（BNN），C4.5算法，支持向量機（SVM）等，通過對網(wǎng)絡流量的屬性

3、特征進行統(tǒng)計，運用機器學習算法建立分類模型，可以對未知流量進行分類或預測。近期的相關(guān)研究工作的貢獻如下:2005年，劍橋大學的Moe[1]等人提出基于概率模型的樸素貝葉斯方法，該方法利用先驗概率和樣本數(shù)據(jù)信息，計算出最大的后驗概率值，從而得出樣本類型，該方法具有較高的分類精度，建模開銷小的特點。但是該方法要求參與分類的各項屬性條件獨立而且遵循高斯分布然而在流量分類問題中原始的網(wǎng)絡流屬性集合很難滿足上述條件，因此該方法的實際應用受到極大限

4、制。Panchenko[2]等人采用包括總傳輸?shù)淖止?jié)數(shù)、總傳輸數(shù)據(jù)包個數(shù)、每個方向數(shù)據(jù)包比例、html文件的大小、及數(shù)據(jù)包的大小等特征作為候選屬性集，利用SVM(支持向量機)算法進行分類，在樣本總類512以下，有載荷加密，數(shù)據(jù)包填充，網(wǎng)絡代理等防御措施下，分類精度可以達到80%，然而該方法只針對網(wǎng)頁應用進行類型識別。KevinP.Dyer[3]等人提出利用一條數(shù)據(jù)流的總傳輸時間、每個方向的帶寬總消耗、burstsbwith等粗粒度信息作

5、為特征集而不考慮每個數(shù)據(jù)包信息（大小及方向）之類的細粒度特征，這樣可以有效降低數(shù)據(jù)包填充等防御措施對分類精度的影響，該方法取得了與Panchenko等人相似的精度。國內(nèi)方面，國防科學技術(shù)大學的王銳等人率先將支持向量SVM(supptvectmachine)方法應用到P2P流的識別領(lǐng)域.他們利用網(wǎng)絡連接數(shù)相關(guān)的統(tǒng)計屬性將網(wǎng)絡流簡單劃分為P2P流和非P2P流然而他們所用的統(tǒng)計屬性依賴于應用的連接模式因此該方法與基于傳輸層行為的流量識別方法相

6、似分類結(jié)果的穩(wěn)定性極易受到網(wǎng)絡環(huán)境的影響。本文研究的目的在于找到一種能夠檢測惡意網(wǎng)絡行為的數(shù)據(jù)流量，提出了一種在現(xiàn)有的傳統(tǒng)分類模型的基礎下，采用基于決策樹算法的分類模型對流量進一步進行判別來檢測出異常流量的兩層結(jié)構(gòu)。3.3決策樹算法3.4分類器模型4實驗驗證4.1實驗平臺及分析工具本文所使用的數(shù)據(jù)挖掘工具是Weka3.5.6[17].該工具是由新西蘭懷卡托大學Witten教授等人開發(fā)的開源工作平臺.該平臺利用Java語言實現(xiàn)了決策樹、樸