網(wǎng)絡(luò)空間安全大數(shù)據(jù)實時計算平臺關(guān)鍵技術(shù)研究.pdf

1、近些年來，接入設(shè)備的激增、網(wǎng)絡(luò)應(yīng)用的不斷涌現(xiàn)和互聯(lián)網(wǎng)流量的爆發(fā)式增長使得網(wǎng)絡(luò)規(guī)模迅速擴大、網(wǎng)絡(luò)環(huán)境日益復(fù)雜，開展網(wǎng)絡(luò)安全分析工作的難度越來越大。與以往相比，網(wǎng)絡(luò)攻擊的隱蔽性更強而且更加難以防范，有針對性的大規(guī)模惡意網(wǎng)絡(luò)攻擊也愈發(fā)常見，網(wǎng)絡(luò)安全形勢依然不容樂觀。當前，網(wǎng)絡(luò)安全分析系統(tǒng)所面臨的挑戰(zhàn)不僅僅來自于攻擊手段和技術(shù)的不斷進化，計算速度以及橫向擴展能力已成為制約基于傳統(tǒng)架構(gòu)模式的網(wǎng)絡(luò)安全分析系統(tǒng)向復(fù)雜網(wǎng)絡(luò)環(huán)境遷移的主要瓶頸，海量的數(shù)據(jù)

2、規(guī)模已經(jīng)遠遠超過了其處理能力的極限。
　　本文首先從系統(tǒng)架構(gòu)入手，提出了一種以開源大數(shù)據(jù)技術(shù)為依托的網(wǎng)絡(luò)安全實時計算平臺設(shè)計方案，該設(shè)計方案共包含七個層次，每一層都作為一個功能實體向上提供服務(wù)。平臺架構(gòu)中各層的實現(xiàn)都依賴于高性能分布式技術(shù)，如Storm、Spark、Kafka、Flume等，涵蓋了集群資源管理、分布式協(xié)調(diào)、數(shù)據(jù)持久化存儲、計算引擎等方面。該架構(gòu)可以同時提供實時計算、離線處理、圖計算等多種類型的數(shù)據(jù)處理服務(wù)，而且能夠

3、很好地滿足海量數(shù)據(jù)存儲需求。
　　在這種以大數(shù)據(jù)技術(shù)為中心的架構(gòu)模式之上，本文實現(xiàn)了一個面向天津教育城域網(wǎng)的實時流量監(jiān)控系統(tǒng)。該流量監(jiān)控系統(tǒng)在底層計算引擎上同時部署了多項數(shù)據(jù)處理業(yè)務(wù)邏輯，可以實現(xiàn)對多種類型DDoS攻擊的預(yù)警與檢測。本文所設(shè)計的DDoS攻擊檢測算法主要包括指數(shù)加權(quán)移動平均算法（EWMA）、異常流量區(qū)間定位算法和攻擊類型判別規(guī)則這三個部分：EWMA算法按照指數(shù)遞減的方式來為歷史數(shù)值賦予權(quán)重并計算下一時刻的預(yù)估值，通過

4、對比實際測量值和預(yù)估值就可以判別出網(wǎng)絡(luò)流量的異常波動；與EWMA的分析結(jié)果相結(jié)合，異常流量區(qū)間定位算法能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)流量異常時段的準確定位；攻擊類型判別算法則為不同類型的DDoS攻擊提供了有針對性的判別規(guī)則。
　　本文從系統(tǒng)吞吐量、Worker并發(fā)數(shù)、節(jié)點負載等維度對系統(tǒng)性能進行了深入的分析和討論，而在驗證DDoS攻擊檢測有效性的過程中，本文將天津教育城域網(wǎng)Netflow數(shù)據(jù)與綠盟抗DDoS系統(tǒng)（Anti-DDoS System）