基于分布式流數據庫系統(tǒng)的網絡入侵檢測.pdf

1、隨著互聯網的高速發(fā)展，安全性是越來越重要的一個話題。傳統(tǒng)的網絡安全是針對個人用戶和企業(yè)用戶，其使用的主要技術包括系統(tǒng)入侵檢測、防病毒軟件和防火墻。但這些安全措施通常并不能減少大規(guī)模通信網絡（即骨干網絡）中的非正常流量。為了從根本上降低網絡中的異常流量，減少或消除用戶所遭受的各類攻擊，大規(guī)模通信網絡與路由交換設備必須具備異常流量的檢測與識別能力。流量的異常操作通常有如下兩種判斷方式：a)判斷是否存在異常流量，這稱之為流量監(jiān)測；b)判斷流量

2、異常的類型，這稱之為流量識別。目前流量監(jiān)測按照檢測的粒度主要分為三種類型,分別是:基于package、基于flow、基于traffic。
　　本文提出了一種更細粒度的、基于動態(tài)session window來聚合IP Flow篩選特征的算法，并結合 SVM算法來檢測 DoS攻擊。同時，為了支持篩選特征的計算操作，本文擴展了Spark Stream，使其支持Stream上的SQL查詢操作。在論文的研究過程中，對現有特征的選擇算法、Sp

3、ark Stream、Hive工作原理以及SVM核函數的選取進行了充分調研，并深入了解了目前的流量檢測。首先，傳統(tǒng)的基于熵的特征選取算法，是把不同的IP源聚合在一起來計算熵信息。這樣的實現方式存在一定的缺陷，當異常發(fā)生的時候，還要再進一步分析才能知道攻擊源，被攻擊目標。論文根據sessionkey（IPsrc, IPdes， srcPort， desPort）來聚合不同的flow數據記錄，進而獲取網絡流數據的信息熵作為訓練特征來解決該問

4、題。另外目前的研究表明，異常流量占總流量的比率和檢測效果存在正相關，即當異常流量占比很低的時候，檢測效果一般也很差。本文提出的session window的方式很好的解決了這個問題。最后，面對瞬間產生的大量的數據集，目前缺少主要的底層計算模型的支持，而且在異常檢測算法方面也不夠高效，因此本文在Spark Stream的基礎上進行了擴展，支持Stream上面的SQL操作，并且支持連續(xù)查詢和窗口操作。
　　最后，本文對提出的特征選取算

5、法進行測試，與傳統(tǒng)的ID3和 C4.5算法進行性能對比。對于特征選擇結果好壞的判斷，最直接有效的評估標準是比較算法所選擇的特征子集與最優(yōu)特征子集的相似度。但在實際應用中，最優(yōu)特征子集沒有評估標準。因此，為了驗證特征選擇算法的有效性，本文使用一種間接的驗證方法，即通過所選擇的特征子集在One-class SVM分類算法中的AUC指標來衡量特征選擇的好壞。另外本文模擬了異常流量所占窗口總流量的不同比例，來說明基于session window