網(wǎng)絡安全數(shù)據(jù)可視化系統(tǒng)的設計與研究.pdf

1、現(xiàn)代社會呈現(xiàn)指數(shù)增長的數(shù)字信息，促使數(shù)據(jù)分析學科進入了一個蓬勃發(fā)展的黃金年代。一直以來，人們總是試圖使用數(shù)據(jù)分析的方法，從源源不斷的數(shù)據(jù)資源中探索出與我們息息相關的信息。在網(wǎng)絡安全領域，采用可視化技術解決安全問題已成為一個嶄新的方法。網(wǎng)絡安全可視化技術將海量的網(wǎng)絡日志數(shù)據(jù)轉(zhuǎn)變成易于理解的視覺圖像，然后利用人類的感知能力來挖掘日志數(shù)據(jù)中所隱含的模式，從而有效地幫助人們處理已經(jīng)發(fā)現(xiàn)的安全事件并準確預測未發(fā)生的潛在安全問題，最后達到提升網(wǎng)絡環(huán)

2、境安全水平的目的。
　　論文依據(jù)網(wǎng)絡安全可視化參考模型，采用分層架構的思想，設計并實現(xiàn)了一款針對網(wǎng)絡安全數(shù)據(jù)可視化的web原型系統(tǒng)Nets.vis，并基于真實數(shù)據(jù)集驗證了該系統(tǒng)的可行性。論文完成的主要工作如下:
　　(1)詳細闡述了數(shù)據(jù)可視化的發(fā)展和流程，總結了網(wǎng)絡安全可視化的定義、方法以及用于可視化的視圖元素，介紹了現(xiàn)有的Web渲染方式和可視化工具，并分析了大規(guī)模數(shù)據(jù)處理平臺Hadoop的性能及優(yōu)缺點。
　　(2)設

3、計并實現(xiàn)了網(wǎng)絡安全數(shù)據(jù)可視化系統(tǒng)Nets.vis。該系統(tǒng)采用了服務器-客戶端的架構?？蛻舳送瓿蓴?shù)據(jù)的可視化模塊，在用戶的瀏覽器中進行渲染。服務器端完成數(shù)據(jù)的獲取、存儲和分析的功能并加載可視化組件。Nets.vis系統(tǒng)的功能模塊包括數(shù)據(jù)存儲模塊、數(shù)據(jù)預處理模塊、數(shù)據(jù)分析模塊以及可視化模塊。在數(shù)據(jù)存儲、預處理和分析模塊中，系統(tǒng)采用Hadoop平臺的相關技術實現(xiàn)了大規(guī)模數(shù)據(jù)的導入、存儲以及分析的功能，并利用Sqoop技術實現(xiàn)了在關系型數(shù)據(jù)庫M

4、ySQL和數(shù)據(jù)倉庫Hive之間轉(zhuǎn)換數(shù)據(jù)的功能，還使用空間亞線性算法優(yōu)化了數(shù)據(jù)的提取、轉(zhuǎn)換、加載等操作。在可視化模塊，系統(tǒng)采用了Echarts和D3兩個可視化工具，其中的氣泡圖布局基于Brich層次聚類算法進行了改進，使用了Spring MVC對Web端進行架構，最后提供了Bootstrap優(yōu)化原型系統(tǒng)的可視化界面。
　　(3)使用China Vis2015挑戰(zhàn)賽提供的Tcp flow日志數(shù)據(jù)驗證了Nets.vis系統(tǒng)的可行性。首先

5、使用改進后的氣泡圖、條形圖以及關系圖，區(qū)分了網(wǎng)絡中的服務器與客戶端，挖掘出了網(wǎng)絡的拓撲結構;然后將服務器分別按照協(xié)議特征以及時間序列特征進行了分類，并結合網(wǎng)絡流量數(shù)據(jù)具有的層次結構屬性和時序?qū)傩?，以折線圖實現(xiàn)數(shù)據(jù)整體時序特征的可視化，進而發(fā)現(xiàn)了網(wǎng)絡的“節(jié)假日模式”和“工作日模式”;最后基于樹圖實現(xiàn)數(shù)據(jù)局部時間特征的可視化技術發(fā)現(xiàn)了異常的特定主機。實驗表明Nets.vis系統(tǒng)能夠正確區(qū)分網(wǎng)絡中服務器與客戶端，并按需對服務器進行分類，還能識