基于機(jī)器學(xué)習(xí)的流量識(shí)別關(guān)鍵技術(shù)研究.pdf

1、過去的二十年中，互聯(lián)網(wǎng)浪潮一波接一波，新技術(shù)、新應(yīng)用層出不窮，特別是進(jìn)入21世紀(jì)以來，以P2P為代表的新應(yīng)用在給互聯(lián)網(wǎng)用戶帶來極大便利的同時(shí)，也出現(xiàn)了帶寬的貪婪吞噬，以及惡意逃避監(jiān)測(cè)等問題。這就給互聯(lián)網(wǎng)工程技術(shù)界和學(xué)術(shù)界提出了一個(gè)新的挑戰(zhàn)：如何對(duì)這些新應(yīng)用的網(wǎng)絡(luò)流量進(jìn)行準(zhǔn)確識(shí)別，進(jìn)而加以有效管理，以確保網(wǎng)絡(luò)的優(yōu)質(zhì)運(yùn)營，為用戶、企業(yè)提供良好的服務(wù)質(zhì)量和可靠的安全保障。這一問題的提出直接催生了應(yīng)用流量識(shí)別這一研究課題。
　　機(jī)器學(xué)習(xí)作

2、為人工智能領(lǐng)域的重要方法，近年來在流量識(shí)別研究中得到了廣泛應(yīng)用。由于其智能性、良好的泛化性以及高識(shí)別效率等特性，使其逐漸成為流量識(shí)別研究中的主流方向。然而機(jī)器學(xué)習(xí)應(yīng)用到流量識(shí)別時(shí)，數(shù)項(xiàng)關(guān)鍵問題卻亟待突破：
　　（1）非平衡流量識(shí)別問題?；ヂ?lián)網(wǎng)各類應(yīng)用流量呈極不均衡分布，這給識(shí)別模型帶來了新挑戰(zhàn)，因?yàn)闃?biāo)準(zhǔn)機(jī)器學(xué)習(xí)模型很難準(zhǔn)確識(shí)別其中的劣勢(shì)類樣本；
　　（2）基礎(chǔ)數(shù)據(jù)獲取困難。網(wǎng)絡(luò)上的流量數(shù)據(jù)本身并不攜帶準(zhǔn)確的原始應(yīng)用信息，因而

3、網(wǎng)絡(luò)上采集的數(shù)據(jù)缺失目標(biāo)類型信息，無法有效地用于構(gòu)建識(shí)別模型；
　?。?）流量特征提取與評(píng)估問題，尤其是早期識(shí)別的有效數(shù)據(jù)包數(shù)目界定以及特征的有效性評(píng)估。
　　本文針對(duì)流量識(shí)別研究中上述關(guān)鍵問題開展研究工作，力圖建立一套從基礎(chǔ)數(shù)據(jù)獲取到最終識(shí)別模型構(gòu)建的流量識(shí)別技術(shù)方案。以這一核心研究目標(biāo)為導(dǎo)向，本文系統(tǒng)地開展了以下研究工作：
　?。?）針對(duì)非平衡分類問題，改進(jìn)標(biāo)準(zhǔn)數(shù)據(jù)引力分類模型（DGC），提出了非平衡數(shù)據(jù)引力分類模

4、型（IDGC），通過大量的實(shí)驗(yàn)驗(yàn)證了IDGC模型良好非平衡分類性能。在此基礎(chǔ)上，針對(duì)互聯(lián)網(wǎng)各類流量的非平衡分布問題，將IDGC應(yīng)用到非平衡流量識(shí)別中，構(gòu)建了高效的非平衡流量識(shí)別模型。實(shí)驗(yàn)證明，這一識(shí)別模型與標(biāo)準(zhǔn)分類模型和其他非平衡分類方法相比，在非平衡流量識(shí)別問題中可以獲得非常高的靈敏度，并能在靈敏度和特異度之間實(shí)現(xiàn)很好的平衡。
　　（2）針對(duì)流量識(shí)別的特征選擇與高效識(shí)別模型構(gòu)建的問題，應(yīng)用柔性神經(jīng)樹（FNT）構(gòu)建了高效的流量識(shí)別

5、模型。充分利用FNT良好的分類性能和自動(dòng)特征選擇能力，在實(shí)現(xiàn)理想的識(shí)別精度同時(shí)，對(duì)流量特征進(jìn)行自動(dòng)選擇，進(jìn)而評(píng)估了不同特征的重要程度。
　?。?）就流量識(shí)別中基礎(chǔ)數(shù)據(jù)獲取困難的問題，進(jìn)行了具有準(zhǔn)確應(yīng)用背景信息的流量樣本采集方法的研究。本文從互聯(lián)網(wǎng)用戶終端著手，采用IP報(bào)文標(biāo)記技術(shù)對(duì)用戶發(fā)送的IP報(bào)文進(jìn)行應(yīng)用標(biāo)記，使得發(fā)送的IP 報(bào)文攜帶其原始應(yīng)用信息。這一方法有效解決了流量樣本背景信息缺失的問題，從而使網(wǎng)絡(luò)上采集的流量數(shù)據(jù)具有準(zhǔn)確