基于稀疏自編碼與組合分類器的異常流量識(shí)別研究.pdf

1、隨著4G業(yè)務(wù)的發(fā)展，移動(dòng)端承接用戶上網(wǎng)主流媒介，并推動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)日新月異，成為社會(huì)生產(chǎn)效率提升的有力牽引。但隨之而來的是用戶對(duì)于4G網(wǎng)絡(luò)體驗(yàn)的要求越來越高，影響用戶4G網(wǎng)絡(luò)體驗(yàn)的主要原因是網(wǎng)速慢以及流量異常，其中由于流量異常導(dǎo)致的資費(fèi)問題最能直接影響用戶4G網(wǎng)絡(luò)體驗(yàn)滿意度。如何在這種環(huán)境下有效解決網(wǎng)絡(luò)質(zhì)量和用戶訴求之間的沖突，就變得尤為重要。
　　本文克服針對(duì)流量是否異常無明確標(biāo)識(shí)的困難，引入外部投訴信息，當(dāng)用戶質(zhì)疑流量使用過快或

2、與感知不符時(shí)標(biāo)記為正樣本，并選取用戶投訴數(shù)據(jù)、每日流量使用數(shù)據(jù)、流量異常日內(nèi)各時(shí)間點(diǎn)流量使用數(shù)據(jù)、流量異常日內(nèi)各APP流量使用數(shù)據(jù)、終端數(shù)據(jù)等信息以及其拓展信息從各個(gè)維度對(duì)異常流量用戶進(jìn)行特征分析。本文主要分析了在投訴特征方面用戶投訴時(shí)間相對(duì)于流量異常產(chǎn)生時(shí)間存在延遲性，在流量使用行為特征方面流量異常當(dāng)日的流量使用較多并且流量使用波動(dòng)較大，在上網(wǎng)時(shí)間特征方面一般用戶流量異常為短時(shí)間爆發(fā)式，惡意APP在很短時(shí)間內(nèi)消耗大量流量，在APP及終

3、端系統(tǒng)特征方面反映出不同的終端系統(tǒng)其導(dǎo)致流量異常的前20個(gè)APP基本一致，并且導(dǎo)致流量異常的APP中占比最高的為不知名軟件或程序。
　　本文基于OSI七層模型中各層協(xié)議包含的數(shù)據(jù)信息構(gòu)建了異常流量識(shí)別的指標(biāo)體系，選取并衍生出體現(xiàn)整個(gè)網(wǎng)絡(luò)行為過程的重要指標(biāo)信息共7大類，包括數(shù)據(jù)包類、速度類、HTTP行為類、地址和端口類、TCP傳輸類、DNS請(qǐng)求類以及綜合概述類。由于網(wǎng)絡(luò)指標(biāo)的高維性，本文在模型方面提出改進(jìn)，采用稀疏自編碼方法進(jìn)行特征

4、提取，通過對(duì)不同指標(biāo)自動(dòng)賦權(quán)，將異常流量識(shí)別指標(biāo)體系中的41個(gè)指標(biāo)壓縮至15個(gè)，并將稀疏自編碼提取的指標(biāo)數(shù)據(jù)與41個(gè)指標(biāo)數(shù)據(jù)在邏輯回歸、K近鄰算法、決策樹三個(gè)分類器下的模型效果進(jìn)行對(duì)比，得出在三個(gè)分類器下稀疏自編碼提取的指標(biāo)數(shù)據(jù)模型效果均優(yōu)于基于41個(gè)指標(biāo)數(shù)據(jù)構(gòu)建的模型效果，因此稀疏自編碼提取的指標(biāo)數(shù)據(jù)不僅模型效果較好，而且在一定程度上減少了機(jī)器學(xué)習(xí)算法的空間復(fù)雜度以及計(jì)算復(fù)雜度。為了進(jìn)一步提升模型效果，本文采用Stacking集成學(xué)習(xí)