基于HMM的Netflow異常流量檢測(cè)方法的研究.pdf

1、在現(xiàn)如今這個(gè)科技發(fā)達(dá)、信息飛速流通的社會(huì)，網(wǎng)絡(luò)的安全越來(lái)越受人們的關(guān)注和重視。Netflow作為思科公司提出的一種數(shù)據(jù)交互方式，在監(jiān)測(cè)網(wǎng)絡(luò)中發(fā)揮著重要的作用。國(guó)內(nèi)外也針對(duì)Netflow異常檢測(cè)做了很多研究。但隨著網(wǎng)絡(luò)的發(fā)展，傳統(tǒng)的基于“流”的異常檢測(cè)技術(shù)存在訓(xùn)練樣本要求大，特征提取復(fù)雜，面對(duì)未知異常檢測(cè)率低的問(wèn)題；而且在面對(duì)海量Netflow流數(shù)據(jù)時(shí)，目前的研究也未發(fā)現(xiàn)也很好的應(yīng)對(duì)之策。
　　基于以上的問(wèn)題，本文的研究將隱馬爾可夫

2、模型和大數(shù)據(jù)相結(jié)合，提出了基于HMM的Netflow異常流量檢測(cè)方法。本文的研究主要包括數(shù)據(jù)采集和處理，建立模型和異常檢測(cè)三個(gè)模塊。首先數(shù)據(jù)采集和處理模塊中，利用重新設(shè)計(jì)的分布式日志采集系統(tǒng)Flume，將Netflow流采集到分布式文件系統(tǒng)。其次在建立HMM模型中，利用協(xié)議的高度規(guī)范化，實(shí)現(xiàn)針對(duì)Netflow數(shù)據(jù)按照ICMP，TCP和UDP三種協(xié)議進(jìn)行分類(lèi)。然后根據(jù)每種協(xié)議的樣本流數(shù)據(jù)進(jìn)行降維、量化等預(yù)處理，建立每種協(xié)議正常流的HMM模

3、型。最后異常檢測(cè)模塊，根據(jù)每種協(xié)議建立的模型，針對(duì)待檢測(cè)序列，分布式實(shí)現(xiàn)前向算法計(jì)算出觀測(cè)概率。將計(jì)算得到的概率與特定的閾值進(jìn)行比較，實(shí)現(xiàn)異常Netflow流量的檢測(cè)。
　　通過(guò)本文的研究，利用隱馬爾可夫模型作為異常檢測(cè)的基本算法模型，不僅需要的樣本量大大減少；且不再需要針對(duì)每種攻擊類(lèi)型單獨(dú)建模，而是根據(jù)協(xié)議分類(lèi)建模，降低了復(fù)雜度，對(duì)未知的異常也有一定的檢查效果。本文的方法利用分布式存儲(chǔ)和分布式計(jì)算框架，幫助我們提供了一種解決海量