網(wǎng)絡(luò)流量測量與識別關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)絡(luò)流量測量與識別，是網(wǎng)絡(luò)管理、網(wǎng)絡(luò)運營、網(wǎng)絡(luò)優(yōu)化和網(wǎng)絡(luò)安全的重要基礎(chǔ)，是掌握網(wǎng)絡(luò)運行規(guī)律和理解網(wǎng)絡(luò)行為的支撐技術(shù)。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，用戶數(shù)量大幅膨脹，鏈路速率快速增長，承載業(yè)務(wù)更加多樣化，信息隱匿技術(shù)廣泛應(yīng)用，導(dǎo)致傳統(tǒng)的基于知名端口號或基于報文載荷的流量識別方法無法滿足高速網(wǎng)絡(luò)流量識別的需求，迫切需要研究有效的網(wǎng)絡(luò)流量測量與識別技術(shù)及策略以應(yīng)對目前及未來網(wǎng)絡(luò)管理面臨的挑戰(zhàn)。
　　高速網(wǎng)絡(luò)中，并發(fā)流數(shù)量巨大而且報文速率高，雖

2、然使用簡單的流量特征與快速的識別算法能夠?qū)崿F(xiàn)對流量的線速處理，但是難以保證流量識別的準(zhǔn)確率；為此，現(xiàn)有的技術(shù)通常采用多特征及構(gòu)建復(fù)雜分類模型的思路，處理復(fù)雜度高，難以滿足實時性的要求；并且當(dāng)前的流量識別技術(shù)沒有考慮各種業(yè)務(wù)的差異化管理要求，不能實現(xiàn)有約束條件的業(yè)務(wù)識別。因此如何處理準(zhǔn)確性與實時性的矛盾是網(wǎng)絡(luò)業(yè)務(wù)在線識別的關(guān)鍵與難點，對不同網(wǎng)絡(luò)業(yè)務(wù)按級別召回是網(wǎng)絡(luò)管理的現(xiàn)實需求。本文依托于國家863計劃重大項目課題“面向三網(wǎng)融合的統(tǒng)一安全

3、管控網(wǎng)絡(luò)”和863計劃主題項目課題“跨網(wǎng)絡(luò)信息安全防護(hù)”，針對課題中的網(wǎng)絡(luò)實時識別和控制需求，面向網(wǎng)絡(luò)業(yè)務(wù)識別中流量測量和識別算法兩個核心環(huán)節(jié)，從四個方面開展研究，主要工作如下：
　　1.針對高速網(wǎng)絡(luò)流量識別時獲取全部報文代價過大的問題，從報文約減的角度出發(fā)，提出基于同源組合布魯姆過濾器的早期流量抽樣算法。該算法利用并發(fā)流量中已結(jié)束抽樣流數(shù)目遠(yuǎn)大于正在抽樣流數(shù)目的特點，設(shè)計寬度不同的兩個計數(shù)布魯姆過濾器組合，分別實現(xiàn)“報文計數(shù)”與

4、“抽樣判斷”功能。算法的理論分析表明，調(diào)節(jié)兩個計數(shù)布魯姆過濾器計數(shù)器的寬度比，可使誤判率達(dá)到最低。根據(jù)真實流量進(jìn)行的空間復(fù)雜度與誤判率的實驗證明了算法的有效性。實驗結(jié)果表明：在相同內(nèi)存資源限制條件下，該算法的誤判率顯著低于同類算法；在同樣誤判率指標(biāo)下，與其他算法相比，其內(nèi)存占用至少減少33％。
　　2.針對采用傳統(tǒng)計數(shù)布魯姆過濾器算法檢測大流時，無結(jié)束標(biāo)識的流量導(dǎo)致的空間擁塞問題，提出了基于自適應(yīng)超時計數(shù)布魯姆過濾器的大流檢測算法

5、。該算法設(shè)計了計數(shù)布魯姆過濾器與計時布魯姆過濾器結(jié)合的大流檢測結(jié)構(gòu)。一方面通過計數(shù)器向量記錄流的報文數(shù)量，并判斷大流；另一方面通過計時器向量記錄流最近報文的到達(dá)時刻，以便及時將已經(jīng)結(jié)束流占用的計數(shù)器自動清除，從而解決無結(jié)束標(biāo)識的流量導(dǎo)致的空間擁塞問題。在對該結(jié)構(gòu)檢測誤差理論分析的基礎(chǔ)上，提出自適應(yīng)超時機制，根據(jù)鏈路流到達(dá)強度與布魯姆過濾器向量空間長度，自適應(yīng)調(diào)整超時時間，使得算法整體錯誤率始終保持在最低范圍。實驗結(jié)果表明：該算法的錯誤率

6、優(yōu)于固定超時算法的最優(yōu)值，并且在占用相同內(nèi)存空間條件下，與其它參考算法相比，該算法準(zhǔn)確率最高。
　　3.傳統(tǒng)流量識別算法無法滿足網(wǎng)絡(luò)業(yè)務(wù)差異化分類精度要求，針對該問題，提出基于優(yōu)先級分類約束的流量識別算法。該算法設(shè)計了基于分類信息熵的決策樹，并提出加權(quán)的悲觀錯誤剪枝，使最終決策樹在進(jìn)行分類時側(cè)重于優(yōu)先級高的業(yè)務(wù)類別，提高了優(yōu)先級高的業(yè)務(wù)類別的召回率。實驗結(jié)果表明，算法識別結(jié)果與優(yōu)先級約束一致，并且取得建模時間和準(zhǔn)確率的相對平衡。與

7、標(biāo)準(zhǔn)C4.5決策樹算法相比，雖然分類的整體準(zhǔn)確率略低，但是算法對于高優(yōu)先級的業(yè)務(wù)類別召回率明顯高于C4.5算法，能夠滿足差異化分類約束條件，而且F-measure結(jié)果與C4.5算法相當(dāng)。
　　4.針對如何提高在線流量識別的處理速度問題，從流量約減這一新的角度出發(fā)，提出一種基于流集的在線流量識別方法。該方法利用相同三元組的流集合具有相同應(yīng)用類別的特點，對流量集合進(jìn)行在線約減，即只對具有相同三元組流集合中的部分流進(jìn)行識別，根據(jù)識別的結(jié)