基于Spark的網(wǎng)絡(luò)安全日志分析系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、企事業(yè)單位通常在網(wǎng)絡(luò)的出入口處安裝多種網(wǎng)絡(luò)安全設(shè)備以保障內(nèi)部網(wǎng)絡(luò)安全，防火墻和入侵檢測系統(tǒng)等安全設(shè)備在運(yùn)行過程中會產(chǎn)生大量的日志來記錄網(wǎng)絡(luò)事件。通過研究這些多源異構(gòu)的日志數(shù)據(jù)并從中提取網(wǎng)絡(luò)安全事件可以呈現(xiàn)網(wǎng)絡(luò)安全態(tài)勢，這樣能夠讓管理人員準(zhǔn)確地掌握網(wǎng)絡(luò)運(yùn)行狀況同時做出正確的網(wǎng)絡(luò)決策。網(wǎng)絡(luò)安全設(shè)備日志具有海量性、復(fù)雜性和時空關(guān)聯(lián)性等特點(diǎn)。傳統(tǒng)的網(wǎng)絡(luò)安全日志分析技術(shù)越來越難以滿足海量日志在采集、存儲、預(yù)處理和分析等方面的需求。大數(shù)據(jù)具有4V特

2、征:Volume(大量)、Velocity(高速)、Variety(多樣性)、Value(價值)。本文的研究目標(biāo)就是基于網(wǎng)絡(luò)安全日志的特點(diǎn)，從海量日志的采集、存儲、預(yù)處理和分析四個層面引入以Spark為核心的大數(shù)據(jù)技術(shù)，來開發(fā)一個速度快、伸縮性好、可擴(kuò)展、處理數(shù)據(jù)量大的網(wǎng)絡(luò)安全日志分析系統(tǒng)，從而實(shí)現(xiàn)大容量、低成本、高效率的網(wǎng)絡(luò)安全分析能力。
　　本文首先闡述了海量安全日志分析給網(wǎng)絡(luò)管理人員帶來的挑戰(zhàn)和困難，然后介紹從日志的采集、存

3、儲和分析等方面引入大數(shù)據(jù)技術(shù)的優(yōu)勢。本文通過Flume和Kafka技術(shù)完成了海量網(wǎng)絡(luò)安全日志的分布式采集與傳輸，并根據(jù)實(shí)際需求對Flume源碼進(jìn)行了功能二次開發(fā)；其次，基于Spark SQL組件設(shè)計并開發(fā)了網(wǎng)絡(luò)安全日志預(yù)處理模塊，并通過該模塊順利完成對網(wǎng)絡(luò)安全日志的預(yù)處理：過濾、規(guī)范化和聚合。與此同時，本文充分利用Spark SQL和Spark Streaming等技術(shù)，結(jié)合單源日志特征匹配分析和多源日志關(guān)聯(lián)分析的方法完成對網(wǎng)絡(luò)安全日志

4、的分析，包括異常流量狀況以及網(wǎng)絡(luò)攻擊事件展示。并基于Java EE技術(shù)開發(fā)了一個 Web展示和查詢界面，滿足了網(wǎng)絡(luò)管理人員對網(wǎng)絡(luò)異常事件的可視化展示和查詢需求。論文最后通過實(shí)際實(shí)驗(yàn)產(chǎn)生的網(wǎng)絡(luò)安全日志對系統(tǒng)關(guān)鍵模塊進(jìn)行了功能測試和時間性能測試，并對相關(guān)結(jié)果進(jìn)行了分析，證明基于Spark的網(wǎng)絡(luò)安全日志分析系統(tǒng)初步滿足了本文的設(shè)計目標(biāo)和需求。
　　本文主要的創(chuàng)新點(diǎn)如下：
　　(1)考慮到同一網(wǎng)絡(luò)攻擊事件會在多個安全設(shè)備上產(chǎn)生較多的

5、重復(fù)告警日志，為了方便后續(xù)對攻擊類日志進(jìn)行關(guān)聯(lián)分析，本文在日志預(yù)處理模塊提出了基于網(wǎng)絡(luò)安全日志的屬性相異度聚類算法。該算法以網(wǎng)絡(luò)攻擊模型對應(yīng)的日志屬性特征為基礎(chǔ)，根據(jù) IP地址和端口等屬性對不同網(wǎng)絡(luò)攻擊具有相異的重要性來設(shè)置不同的權(quán)值，從而完成網(wǎng)絡(luò)攻擊重復(fù)告警日志的聚合。最后，通過實(shí)驗(yàn)證明了該算法對重復(fù)告警日志具有很好的聚合效果。
　　(2)本文基于Spark SQL豐富的外部數(shù)據(jù)源接口和其抽象編程接口DataFrame，&nbs