基于Spark技術(shù)的實時網(wǎng)絡(luò)流量異常檢測研究.pdf

1、Spark技術(shù)是一項基于內(nèi)存計算，繼Hadoop技術(shù)之后在云計算領(lǐng)域出現(xiàn)的新一代通用并行計算的開源技術(shù)，在機器學(xué)習(xí)方面有著無與倫比的優(yōu)勢，特別適合出現(xiàn)多次迭代計算需求的算法，并在交互式查詢、云計算、圖計算等領(lǐng)域有著廣泛的應(yīng)用。由于Spark擁有非常出色的容錯和調(diào)度機制，可以確保系統(tǒng)穩(wěn)定地運行，并且它還是一個集SQL、機器學(xué)習(xí)、圖計算、流處理等多種功能于一體的計算框架，具有非常好的易用性。目前，Spark技術(shù)已經(jīng)構(gòu)建成了一套完整的大數(shù)據(jù)處

2、理生態(tài)系統(tǒng)，在流處理、圖技術(shù)、機器學(xué)習(xí)、NoSQL查詢等方面都具有自己的特色。此外，Spark采用全棧技術(shù)解決了云計算數(shù)據(jù)處理的核心問題，使得在現(xiàn)階段，Spark技術(shù)在云計算等大數(shù)據(jù)領(lǐng)域中成為研究熱點。
　　論文在詳細闡述國內(nèi)外關(guān)于Spark研究現(xiàn)狀的基礎(chǔ)上，針對目前存在的難點問題，以Spark全棧框架中的各個組件及其應(yīng)用為基礎(chǔ)，對網(wǎng)絡(luò)流量異常檢測技術(shù)的應(yīng)用問題展開討論和研究，本論文的主要貢獻有以下兩個方面：
　　本論文首先

3、研究了網(wǎng)絡(luò)流量異常檢測技術(shù)在Spark平臺上的應(yīng)用，利用Spark平臺上的MLlib算法庫、Streaming K-means和隨機森林算法分別作為入侵檢測的第一級和第二級模型，作用于不同階段中網(wǎng)絡(luò)流量數(shù)據(jù)的檢測。此外，根據(jù)無監(jiān)督模式下K-means算法的原理，對網(wǎng)絡(luò)流量異常檢測算法進行了優(yōu)化，采用Z-score算法過濾邊緣信息，選擇熵信息K-means模型作為第一級網(wǎng)絡(luò)流量異常檢測的模型，以第一級檢測模型的數(shù)據(jù)輸出作為第二級模型的輸入

4、，采用隨機森林算法作為第二級分類模型。
　　其次本論文針對以上算法進行了對比測試。首先以KDD99為實驗數(shù)據(jù)集，基于熵信息判斷K-means最優(yōu)模型，并通過交叉檢驗證明了在不同的K值下模型預(yù)測準確度和熵信息成反比，K值為60時K-means模型達到最優(yōu)。同時還對隨機森林算法和決策樹算法在不同參數(shù)組合下的預(yù)測模型進行了異常數(shù)據(jù)分類測試對比，測試結(jié)果表明，隨機森林模型可以做到98％以上的異常結(jié)果分類預(yù)測，采用二級異常檢測模型與傳統(tǒng)模型