基于Mahout分類器的異常流量檢測技術的研究.pdf

1、近年來，互聯網帶給人們豐富的共享信息資源，方便了人們的工作與生活，人們越來越離不開網絡，網絡在現代人們的生活中扮演者越來越重要的角色。另一方面，很多人針對網絡進行惡意攻擊，從中獲取利益。對于大部分普通網民來說，網絡環(huán)境日益復雜，人們不僅需要加強自身保護意識，更加需要網絡安全人員對網絡流量進行維護與監(jiān)管，檢測異常網絡流量，從而保證網絡使用者的上網安全。因此，網絡異常流量檢測技術具有重大意義，也是文本的主要研究課題。
　　本文針對網絡

2、中數據源多維化的特點，將數據源多維數據的信息熵投影到不同的分類支撐向量，由于機器學習容易產生過度訓練或訓練不足這些問題，本文對比EWMA、Entropy、K-means、GMM、SVDD等異常流量檢測方法，選擇支持多維數據統(tǒng)計的非監(jiān)督式SVDD分類方法，訓練可采用的數據集。針對訓練分類器成本消耗大與分類檢測效果佳的沖突問題，本文選擇一種異常實時響應訓練的學習模式，只在有異常檢測點加入時，才進行重新訓練。不僅如此，對于訓練數據集中異常點的

3、選取，采用貝葉斯網絡模型推理預測下一節(jié)點的異常概率，隨即判斷是否將異常點加入到訓練集中繼續(xù)訓練，以此整體提高異常流量檢測的效率與精度。本文主要針對的問題以及研究的創(chuàng)新點如下：
　?。?）針對研究過程中，異常數據集來源困難、數據分析過程復雜的客觀條件，本文選擇大數據分布式平臺環(huán)境進行數據的處理分析。為分析分類器異常檢測能力的表現效果，本文對比EWMA、Entropy、K-means、GMM、SVDD等主流的異常檢測方法，最終實驗選定

4、在多維信息熵構建支撐向量基礎上，由SVDD方法對異常流量進行檢測，能夠有優(yōu)于其他幾種方法的檢測效果。
　　（2）針對分類器數據量、訓練地與實際應用地點的不同，原始的訓練集檢測效果不能很好地檢測新數據，且當前重新訓練所需要的資源消耗量大等等這些問題，本文采用異常實時響應訓練方法。只有在加入異常點時，才進行訓練集的重訓練，將檢測窗口平行移動至異常點，剔除最開始的檢測點，增加當前適用的檢測點。這種方法既能提高訓練集的適應性與準確率，還能