網(wǎng)絡(luò)核心節(jié)點異常流量檢測與控制技術(shù)研究.pdf

1、信息化的快速發(fā)展極大推動了社會的進(jìn)步，信息網(wǎng)絡(luò)成為現(xiàn)代社會的主要基礎(chǔ)設(shè)施之一，網(wǎng)絡(luò)的安全和高效運(yùn)行直接關(guān)系到社會活動的正常運(yùn)行。伴隨著網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)入侵、服務(wù)攻擊、信息竊取、病毒傳播等惡意行為在各種利益的驅(qū)動下變得越來越普遍，數(shù)量、種類和破壞程度不斷增加，其中以DDoS為代表的資源消耗型攻擊由于實現(xiàn)簡單和難以防御而成為互聯(lián)網(wǎng)安全的主要威脅，傳統(tǒng)的入侵檢測主要部署在用戶端，保護(hù)用戶不受攻擊，并不能消除網(wǎng)絡(luò)骨干節(jié)點中的惡意流量，現(xiàn)有核心節(jié)

2、點一般不具備惡意流量的識別和控制能力，只能任由其傳播，DDoS加上蠕蟲傳播和P2P流量消耗了核心節(jié)點的大部分資源，網(wǎng)絡(luò)資源更新發(fā)展的速度跟不上資源的濫用和消耗，所以在核心節(jié)點上部署流量檢測和控制機(jī)制對于保障網(wǎng)絡(luò)性能有重要的意義，并且進(jìn)一步可以作為攻擊源定位的信息平臺。 核心節(jié)點主要實現(xiàn)數(shù)據(jù)的路由和交換，增加新的流量檢測和控制功能不能影響其基本工作，可以利用的計算資源和空間有限，而核心節(jié)點上的數(shù)據(jù)量巨大，對處理時間也有很高的要求，

3、加上攻擊手段的多樣性，如何快速處理數(shù)據(jù)流并保證有效性和準(zhǔn)確性是本文的研究目標(biāo)，本文重點對其中的關(guān)鍵技術(shù)進(jìn)行深入的研究，主要包括以下幾個方面： 1.本文首先設(shè)計了一個應(yīng)用于核心節(jié)點上針對異常流量檢測和控制的系統(tǒng)框架，它由三個層次組成，底層考慮到數(shù)據(jù)的單次掃描和摘要儲存使用了數(shù)據(jù)流模型，只負(fù)責(zé)檢測數(shù)據(jù)流中的超大頻度流，并不做深入的分析，可以實現(xiàn)在線的數(shù)據(jù)流處理；中間層使用模式識別中的聚類技術(shù)，解決檢測技術(shù)對攻擊先驗知識的依賴，可以把

4、惡意數(shù)據(jù)形成準(zhǔn)確的聚集，這是一種準(zhǔn)實時的處理，犧牲一定反應(yīng)時間換取準(zhǔn)確度；上層使用多層聚集控制策略，根據(jù)協(xié)議使用模式進(jìn)行多層聚集，區(qū)分不同的聚集的惡意程度，從而決定資源的分配，并反饋控制效果。三個層次有機(jī)結(jié)合，可以及時發(fā)現(xiàn)并過濾惡意流量。 2.本文提出了一種基于窗口偏倚度的突變檢測算法，針對具體的海量數(shù)據(jù)流進(jìn)行超大頻度流的檢測，利用基于hash函數(shù)的計數(shù)器矩陣，并結(jié)合指數(shù)直方圖設(shè)計了一個復(fù)式的數(shù)據(jù)摘要結(jié)構(gòu)，這是一種滑動窗口模型，

5、窗口內(nèi)的數(shù)據(jù)隨著每個數(shù)據(jù)的到達(dá)而變化，直方圖內(nèi)的每個桶各自計算自己的偏倚度來表明其中出現(xiàn)大頻度流的程度，指數(shù)直方圖中大小不同的等級桶設(shè)計體現(xiàn)了數(shù)據(jù)的時間衰減性，指數(shù)直方圖的偏倚度可以及時、準(zhǔn)確地反應(yīng)數(shù)據(jù)流數(shù)據(jù)分布的突變。 3.在數(shù)據(jù)壓縮存儲上對傳統(tǒng)的計數(shù)型BloomFilters進(jìn)行了兩個方面的改進(jìn)，使其更加適應(yīng)針對大頻度流量計數(shù)的場合，首先改進(jìn)了計數(shù)型BloomFilters的計數(shù)器，提出了邏輯計數(shù)器的概念，可以在計數(shù)器滿溢時

6、侵入其它的計數(shù)器增加對數(shù)值的存儲上限，由于使用計數(shù)器最小值估計，帶來的誤判率增加很小。另外針對計數(shù)型BloomFilters使用固定數(shù)目的hash函數(shù)，不能事先確定最佳函數(shù)數(shù)目的不足，提出根據(jù)空置的計數(shù)器來估計BloomFilters的使用情況，確定最佳hash函數(shù)數(shù)目，從而減少計算量。 4.針對資源消耗型攻擊變異種類繁多，基于特征匹配難以實現(xiàn)的特點，提出一種兩階段聚類算法，在可視化分析惡意攻擊的基礎(chǔ)上，利用同一攻擊樣本點相似度

7、高，分布相似的基本特性，在第一階段基于樣本距離實現(xiàn)密度微聚集，在第二階段基于微聚類的分布相似度實現(xiàn)密度連接，能夠識別不規(guī)則形狀、區(qū)分不同密度，實現(xiàn)對不同攻擊樣本的準(zhǔn)確聚類。 5.在資源控制層面，提出了一種多層聚集的限速策略，首先按照不同的協(xié)議和各個協(xié)議的使用方式把數(shù)據(jù)流劃分成不同層次的多個聚集，根據(jù)各個聚集的惡意程度決定其對資源的占用情況，對惡意聚集進(jìn)行限速，具體實現(xiàn)上利用中間層兩階段聚類的結(jié)果來生成過濾規(guī)則，使其具有更好的準(zhǔn)確