大規(guī)模網(wǎng)絡(luò)下復(fù)雜應(yīng)用識(shí)別及私有網(wǎng)絡(luò)挖掘技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的出現(xiàn)為人們帶來(lái)了極大的便利，改變了吃穿住行等多個(gè)領(lǐng)域的生活方式。隨著互聯(lián)網(wǎng)的日益普及和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為了人們主要的交流溝通工具和信息分享渠道。然而，隨著網(wǎng)絡(luò)用戶(hù)規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)新技術(shù)的不斷發(fā)展，給網(wǎng)絡(luò)用戶(hù)帶來(lái)便利的同時(shí)卻是給網(wǎng)絡(luò)管理帶來(lái)了巨大的挑戰(zhàn)。
　　傳統(tǒng)的網(wǎng)絡(luò)分析方法在面對(duì)大規(guī)模的網(wǎng)絡(luò)流量時(shí)，遇到嚴(yán)重的困境：首先，新出現(xiàn)的網(wǎng)絡(luò)應(yīng)用大規(guī)模地使用分布式架構(gòu)和加密協(xié)議，并采用復(fù)雜的通信過(guò)程保證業(yè)務(wù)的完

2、備性，極大地改變了網(wǎng)絡(luò)流量的組成方式，使得傳統(tǒng)的協(xié)議識(shí)別方法無(wú)法有效識(shí)別關(guān)鍵業(yè)務(wù)和關(guān)鍵應(yīng)用，嚴(yán)重影響了網(wǎng)絡(luò)運(yùn)營(yíng)商和網(wǎng)絡(luò)服務(wù)商對(duì)網(wǎng)絡(luò)環(huán)境的認(rèn)知，以及對(duì)關(guān)鍵服務(wù)的保障，甚至可能帶來(lái)嚴(yán)重的網(wǎng)絡(luò)安全問(wèn)題，造成用戶(hù)的數(shù)據(jù)丟失和隱私被竊?。黄浯?，大規(guī)模網(wǎng)絡(luò)環(huán)境所帶來(lái)的類(lèi)不平衡問(wèn)題嚴(yán)重影響了基于機(jī)器學(xué)習(xí)的協(xié)議識(shí)別方法的準(zhǔn)確性，降低了其實(shí)用效果；再次，隨著網(wǎng)絡(luò)用戶(hù)、帶寬和應(yīng)用的快速增長(zhǎng)，網(wǎng)絡(luò)流量急劇膨脹，呈現(xiàn)大數(shù)據(jù)的特性，給傳統(tǒng)的網(wǎng)絡(luò)協(xié)議分析方法帶來(lái)了

3、嚴(yán)重的挑戰(zhàn)。
　　因此，基于上述研究背景及相關(guān)問(wèn)題，本文的主要工作包括：
　?。?）針對(duì)復(fù)雜應(yīng)用識(shí)別難的問(wèn)題，提出了基于流感知的復(fù)雜應(yīng)用識(shí)別方法，該方法通過(guò)對(duì)復(fù)雜應(yīng)用通信特性的分析和研究，從時(shí)間、空間以及流量三個(gè)維度對(duì)復(fù)雜應(yīng)用所產(chǎn)生的網(wǎng)絡(luò)流量進(jìn)行感知，建立了一個(gè)有效的行為模型，能夠有效識(shí)別復(fù)雜應(yīng)用，解決了復(fù)雜應(yīng)用識(shí)別問(wèn)題；
　?。?）針對(duì)大規(guī)模網(wǎng)絡(luò)環(huán)境中小類(lèi)別應(yīng)用識(shí)別準(zhǔn)確率低的問(wèn)題，提出了基于MinMax原則分類(lèi)器集成

4、的SAIMM方法。首先分析了大規(guī)模網(wǎng)絡(luò)下正例樣本和反例樣本比例過(guò)大所引發(fā)的的正例識(shí)別結(jié)果中誤報(bào)增多的原因和機(jī)理，之后采用分類(lèi)器集成的方法對(duì)數(shù)據(jù)樣本進(jìn)行處理，提高小類(lèi)別應(yīng)用流量的識(shí)別偏重，在保證總體識(shí)別準(zhǔn)確率的同時(shí)，提高對(duì)小類(lèi)別應(yīng)用流量的識(shí)別性能；
　?。?）針對(duì)網(wǎng)絡(luò)流量大數(shù)據(jù)分析難和復(fù)雜應(yīng)用私有網(wǎng)絡(luò)挖掘難的問(wèn)題，提出了網(wǎng)絡(luò)流場(chǎng)方法，將主機(jī)、服務(wù)器、網(wǎng)絡(luò)流量等信息抽象成節(jié)點(diǎn)、通信行為等，采用流場(chǎng)挖掘、流量關(guān)聯(lián)的方法對(duì)海量的網(wǎng)絡(luò)信息進(jìn)

5、行挖掘，構(gòu)建普通用戶(hù)甚至網(wǎng)絡(luò)運(yùn)營(yíng)商所看不到的復(fù)雜應(yīng)用私有網(wǎng)絡(luò)，剖析私有網(wǎng)絡(luò)的運(yùn)行機(jī)制；
　?。?）綜合上述三個(gè)方面的研究成果，設(shè)計(jì)并實(shí)現(xiàn)了一套復(fù)雜應(yīng)用識(shí)別與分析系統(tǒng)SpiderWeb，包括網(wǎng)絡(luò)流量預(yù)處理模塊、流感知模型特征提取模塊、復(fù)雜應(yīng)用識(shí)別模塊、海量日志存儲(chǔ)模塊、網(wǎng)絡(luò)流場(chǎng)挖掘模塊以及可視化展示模塊等。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠有效解決大規(guī)模網(wǎng)絡(luò)環(huán)境下的復(fù)雜網(wǎng)絡(luò)識(shí)別與分析問(wèn)題，滿足識(shí)別性能和分析的需要。
　　本文提出的復(fù)雜應(yīng)