互聯(lián)網(wǎng)流量分類與識別方法研究.pdf

1、互聯(lián)網(wǎng)流量的精確分類與識別是網(wǎng)絡(luò)流量工程、網(wǎng)絡(luò)管理與安全監(jiān)測、網(wǎng)絡(luò)設(shè)計與規(guī)劃等網(wǎng)絡(luò)行為的前提和基礎(chǔ)。高效、準確、實時地識別互聯(lián)網(wǎng)流量對于分析網(wǎng)絡(luò)發(fā)展趨勢、提供服務(wù)質(zhì)量保證、實現(xiàn)動態(tài)訪問控制和路由決策、進行合法有效的網(wǎng)絡(luò)管理和控制、檢測網(wǎng)絡(luò)異常行為與提高網(wǎng)絡(luò)安全性等都有很重要的現(xiàn)實意義。
　　 隨著基于IP的互聯(lián)網(wǎng)新業(yè)務(wù)、惡意網(wǎng)絡(luò)行為、高QoS需求的實時業(yè)務(wù)不斷涌現(xiàn)，網(wǎng)絡(luò)流量日趨復(fù)雜、動態(tài)、多變；而且越來越多的網(wǎng)絡(luò)應(yīng)用采用動態(tài)端口

2、、偽裝端口和應(yīng)用層加密等多種規(guī)避手段，使得準確、智能、實時的互聯(lián)網(wǎng)流量識別成為一個具有高度挑戰(zhàn)性的問題，并成為互聯(lián)網(wǎng)流量測量領(lǐng)域的研究熱點之一。
　　 本文針對互聯(lián)網(wǎng)運行和管理需求，面向不同網(wǎng)絡(luò)規(guī)模、應(yīng)用目標和分類粒度，研究準確、智能、實時的互聯(lián)網(wǎng)流量分類的有效方法。論文對現(xiàn)有的基于機器學(xué)習和基于應(yīng)用層凈荷特征分析的網(wǎng)絡(luò)流量分類與識別方法提出了進一步的研究目標；對在線實時分類和智能識別能力、混合分類方法與實施方案、分布式協(xié)同識別

3、能力以及網(wǎng)絡(luò)流量分類器的應(yīng)用與部署提出了新的目標。
　　 針對研究目標，論文的主要研究工作及創(chuàng)新如下：
　　 (1) 根據(jù)互聯(lián)網(wǎng)流量統(tǒng)計特性分析，建立了基于機器學(xué)習的網(wǎng)絡(luò)流量分類系統(tǒng)，采用基于遺傳算法的特征選擇和各類有監(jiān)督機器學(xué)習算法對互聯(lián)網(wǎng)絡(luò)流量進行有效地分類與識別，并從大量實驗分析得出影響互聯(lián)網(wǎng)流景分類性能的主要因素有：特征選擇、機器學(xué)習算法、樣本集大小和網(wǎng)絡(luò)應(yīng)用類型數(shù)。研究還表明：有監(jiān)督機器學(xué)習算法（如決策樹算法C

4、4.5和REPTree）不僅具有高精度和低開銷的優(yōu)良性能，還能有效識別已知/未知P2P大類的應(yīng)用流量和單個加密應(yīng)用流量，具有早期檢測的能力，為實時網(wǎng)絡(luò)流量分類提供了可能。
　　 鑒于有監(jiān)督機器學(xué)習需要大量精確的標簽流且不能識別新應(yīng)用流量，本文還提出基于典型K-Means和種子K-Means的半監(jiān)督學(xué)習算法，采用流統(tǒng)計特征的聚類差異和類不純度（以GrNI指數(shù)度量）的線性組合為距離測度，并應(yīng)用遺傳算法優(yōu)化聚類學(xué)習過程。僅利用少量的標

5、簽流和大量容易獲取的非標簽流訓(xùn)練得到的網(wǎng)絡(luò)流量分類器，能獲得較高的分類精度，并能及時識別未知網(wǎng)絡(luò)應(yīng)用流量，具有很好的分類性能。
　　 (2) 包深度檢測法(DPI)分類精度高、具有細粒度網(wǎng)絡(luò)流量分類和早期檢測能力。然而，DPI不能智能地發(fā)現(xiàn)新應(yīng)用的應(yīng)用層特征標簽，限制了DPI在流量監(jiān)測與管理中的進一步應(yīng)用。本文針對DPI存在的關(guān)鍵技術(shù)難點，分析應(yīng)用層凈荷的特征模式，提出了基于動態(tài)規(guī)劃和遺傳算法的最長公共子序列(LCSS)改進算法

6、，能夠自動發(fā)現(xiàn)DPI特征并智能提取準確的特征標簽，實現(xiàn)DPI特征庫的及時更新和維護，確保DPI識別法的準確性。
　　 (3) 由于僅依賴于一種分類方法不能達到互聯(lián)網(wǎng)流量識別的最終要求，本文從滿足應(yīng)用需求、提高分類性能、以及與當前網(wǎng)絡(luò)流量識別與監(jiān)管產(chǎn)品的融合角度出發(fā)，提出了基于機器學(xué)習和DPI/Port的分級混合網(wǎng)絡(luò)流量分類方案。其中，粗粒度分類僅通過分析流的前幾個分組的統(tǒng)計特性，采用快速有效的決策樹等機器學(xué)習算法，實現(xiàn)精確實時的

7、網(wǎng)絡(luò)流量粗粒度分類；而細粒度分類是在各自的應(yīng)用大類內(nèi)采用特征自動更新的DPI/Port技術(shù)，輔以半監(jiān)督學(xué)習算法實現(xiàn)精細粒度的應(yīng)用流量分類。該混合識別方法能夠智能、精確、實時、有效地識別網(wǎng)絡(luò)流量，具有好的完整性和可擴展性，滿足不同應(yīng)用目標和分類粒度的互聯(lián)網(wǎng)流量分類需求，并為面向高速網(wǎng)絡(luò)的流量分類與識別提供了可能。
　　 (4) 為實現(xiàn)網(wǎng)絡(luò)流量分類器之間的流量特征、數(shù)據(jù)樣本、分類識別經(jīng)驗與分類算法的共享，以及實現(xiàn)遠程協(xié)同識別，提高網(wǎng)

8、絡(luò)流量識別的準確性和靈活性，并為大規(guī)?；ヂ?lián)網(wǎng)流量識別與行為分析提供必要基礎(chǔ)，本文提出了基于DHT（分布式哈希表）的自組織網(wǎng)絡(luò)流量協(xié)同識別模型，并且建立了協(xié)同識別的層次P2P網(wǎng)絡(luò)的性能分析模型，給出了最優(yōu)層次劃分比率以優(yōu)化搜索性能。本文還利用系統(tǒng)本身的small world特征，考慮流量分類器節(jié)點的物理距離和興趣關(guān)聯(lián)度，在層次P2P網(wǎng)絡(luò)的上層超級節(jié)點網(wǎng)絡(luò)中構(gòu)建基于smallworld自組織覆蓋網(wǎng)，進一步有效減少搜索時延，提高協(xié)同識別P2P