基于云計算的異常流量檢測系統(tǒng)的實現(xiàn).pdf

1、互聯(lián)網(wǎng)異常是指影響網(wǎng)絡(luò)性能或造成數(shù)據(jù)破壞的事件，這些事件通常會引起某些流量特征違反某種已建立的模式或標(biāo)準(zhǔn)，分析流量特征在異常情況下的變化，并以之為基礎(chǔ)進(jìn)行異常檢測的應(yīng)用研究，可以及時地發(fā)現(xiàn)網(wǎng)絡(luò)異常、診斷網(wǎng)絡(luò)錯誤，對互聯(lián)網(wǎng)的安全運(yùn)行和管理具有重要的意義。
　　 NetFlow是一種數(shù)據(jù)交換方式，一個NetFlow流定義為在一個源IP地址和目的IP地址間傳輸?shù)膯蜗驍?shù)據(jù)包流，且所有數(shù)據(jù)包具有共同的傳輸層源、目的端口號。Netflow數(shù)

2、據(jù)中包含了網(wǎng)絡(luò)異常檢測所需要的流量特征，可以利用Netflow數(shù)據(jù)所提供的網(wǎng)絡(luò)流量特征分析當(dāng)前網(wǎng)絡(luò)所處的狀態(tài)。目前的基于Netflow的異常檢測尚有很多不足:1）高的誤檢率;2）多數(shù)方法難以達(dá)到高速鏈路的實時在線檢測需求;3）Netflow數(shù)據(jù)量較大，對于歷史數(shù)據(jù)不能有效的存儲;4）全網(wǎng)異常檢測方法較少且問題較多。
　　 云計算通過整合互聯(lián)網(wǎng)絡(luò)中的閑散資源，對外提供強(qiáng)大的存儲和計算能力，以及一些其它解決方案。Hadoop是一個開

3、源分布式數(shù)據(jù)處理框架，被用于高效地處理海量數(shù)據(jù)。由于Hadoop具有可伸縮性、高可靠性、低成本性和高效性等優(yōu)點(diǎn)，已成為一種流行的云計算開發(fā)平臺。Hadoop提供了云計算所需要的眾多功能:HDFS分布式文件系統(tǒng)、MapReduce計算模型、HBase分布式NoSQL列數(shù)據(jù)庫等。利用云計算開發(fā)平臺我們可以解決網(wǎng)絡(luò)數(shù)據(jù)存儲和異常檢測的眾多問題。
　　 本文以互聯(lián)網(wǎng)異常流量特征的分析為基礎(chǔ)，利用Hadoop云計算開發(fā)平臺，進(jìn)行異常檢測的

4、應(yīng)用研究，實現(xiàn)了一個基于云計算的異常流量檢測系統(tǒng)。
　　 本文主要研究內(nèi)容和貢獻(xiàn)如下:
　　 1.提出一種基于包數(shù)據(jù)流量特征的分析方法，并應(yīng)用這種方法對流量特征的異常變化進(jìn)進(jìn)行了分析。主要結(jié)果是正常流量特征分布在小的時間尺度上具有一定的穩(wěn)定性,而異常流量會導(dǎo)致部分流量特征的分布產(chǎn)生明顯的變化，從而打破這樣的穩(wěn)定性。
　　 2.提出了用于檢測互聯(lián)網(wǎng)異常的十維異常流量分析指標(biāo)，利用分析指標(biāo)的變化情況分析網(wǎng)絡(luò)中存在的異