IP網(wǎng)絡(luò)測(cè)量數(shù)據(jù)存儲(chǔ)與流量建模研究.pdf

1、IP網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大,異構(gòu)化程度不斷增加,帶寬成倍增長,網(wǎng)絡(luò)日益復(fù)雜。IP網(wǎng)絡(luò)流量測(cè)量和建模研究與分析具有非常重要的作用和意義,它是網(wǎng)絡(luò)監(jiān)視預(yù)測(cè)、協(xié)議設(shè)計(jì)、設(shè)備開發(fā)、網(wǎng)絡(luò)管理與網(wǎng)絡(luò)性能提升的基礎(chǔ),同時(shí)也是一項(xiàng)異常復(fù)雜且需要持續(xù)不斷進(jìn)行的工作。而紛繁復(fù)雜的應(yīng)用層業(yè)務(wù)、高速的網(wǎng)絡(luò)鏈路、海量的流量數(shù)據(jù)和持續(xù)變化的網(wǎng)絡(luò)給IP網(wǎng)絡(luò)流量測(cè)量和建模研究與分析帶來了巨大的挑戰(zhàn)。
　　 本文面向紛繁復(fù)雜的應(yīng)用層業(yè)務(wù)和持續(xù)變化的網(wǎng)絡(luò),充分利用自主研

2、發(fā)的支持高速鏈路的分布式網(wǎng)絡(luò)流量測(cè)量和控制系統(tǒng),設(shè)計(jì)改善流量測(cè)量數(shù)據(jù)的實(shí)時(shí)接口與存儲(chǔ)體系,并以當(dāng)前國內(nèi)實(shí)際運(yùn)營商網(wǎng)絡(luò)中的流量測(cè)量數(shù)據(jù)作為分析對(duì)象,將應(yīng)用層流量作為研究的重點(diǎn),分析應(yīng)用層流量的特性、變化趨勢(shì)以及異常流量檢測(cè)等,采用統(tǒng)計(jì)學(xué)方法進(jìn)行建模,通過實(shí)驗(yàn),驗(yàn)證模型的可靠性。
　　 概括的講,本文的貢獻(xiàn)主要包含以下幾個(gè)方面:
　　 1.網(wǎng)絡(luò)監(jiān)測(cè)平臺(tái)與實(shí)時(shí)數(shù)據(jù)接口設(shè)計(jì)
　　 在流量數(shù)據(jù)的實(shí)時(shí)共享方式中,專用API接

3、口使用復(fù)雜,而MIB有相對(duì)好的標(biāo)準(zhǔn)化優(yōu)勢(shì),但支持MIB的科學(xué)分析工具卻很少。為了解決海量流量數(shù)據(jù)的實(shí)時(shí)共享問題,本文提出建立開放分布式的高速網(wǎng)絡(luò)流量監(jiān)測(cè)平臺(tái)的一種設(shè)計(jì)方法,在監(jiān)測(cè)平臺(tái)上提供一個(gè)專門的OPC服務(wù)器,此OPC服務(wù)器與監(jiān)測(cè)平臺(tái)軟件通過共享內(nèi)存交換數(shù)據(jù),同時(shí)提供數(shù)據(jù)接口供其它的OPC client工具進(jìn)行訪問。這是業(yè)界首次將OPC這種自動(dòng)化控制領(lǐng)域中的世界標(biāo)準(zhǔn)用于網(wǎng)絡(luò)監(jiān)測(cè)平臺(tái)中,使平臺(tái)更有開放性和擴(kuò)展性,可方便使用具有OPC c

4、lient功能的工具對(duì)網(wǎng)絡(luò)數(shù)據(jù)做各種分析。其它網(wǎng)絡(luò)服務(wù)系統(tǒng)可以通過這種通用的接口訪問到所需要的網(wǎng)絡(luò)數(shù)據(jù)指標(biāo),進(jìn)行相關(guān)的服務(wù)控制。該方法已經(jīng)在自主研發(fā)的網(wǎng)絡(luò)監(jiān)測(cè)分析系統(tǒng)中得到應(yīng)用。
　　 2.測(cè)量數(shù)據(jù)與多級(jí)流量數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)
　　 本文設(shè)計(jì)并實(shí)現(xiàn)了流量數(shù)據(jù)的多級(jí)存儲(chǔ)系統(tǒng),適應(yīng)于不同精度的測(cè)量需求又兼顧了成本、性能和效率,并根據(jù)高速網(wǎng)絡(luò)流量的重尾分布特性,采用合理的流數(shù)據(jù)存儲(chǔ)策略,相對(duì)于Ciseo NetFlow采取的只存

5、儲(chǔ)流中的每個(gè)數(shù)據(jù)包的前N個(gè)字節(jié)的簡單方法,本方法大幅度減少要存儲(chǔ)的數(shù)據(jù)量,同時(shí)又保留了重要的網(wǎng)絡(luò)控制信息。為了提高流數(shù)據(jù)處理效率,本文還通過實(shí)驗(yàn)分析并實(shí)現(xiàn)用于流數(shù)據(jù)處理串操作函數(shù)的指令級(jí)優(yōu)化方案。采用自主研發(fā)的網(wǎng)絡(luò)監(jiān)測(cè)分析系統(tǒng),作者在全國多個(gè)ISP架設(shè)實(shí)驗(yàn)局進(jìn)行監(jiān)測(cè),包括電信運(yùn)營商、網(wǎng)絡(luò)服務(wù)商以及企業(yè)用戶,獲取大量的一手?jǐn)?shù)據(jù),從而深入了解我國互聯(lián)網(wǎng)的流量現(xiàn)狀,為本文的研究提供有力的基礎(chǔ)。
　　 3.應(yīng)用層流量ARIMA季節(jié)乘積混

6、合預(yù)測(cè)模型
　　 本文提出基于應(yīng)用層的流量預(yù)測(cè)分析模型,對(duì)國內(nèi)某城域網(wǎng)出口鏈路上的應(yīng)用層流量序列采用ARIMA季節(jié)乘積混合模型(p,d,q)(P,D,Q)s建模并預(yù)測(cè)。Internet流量是具有復(fù)雜非線性組合特征的季節(jié)性時(shí)間序列。目前國內(nèi)外的網(wǎng)絡(luò)流量預(yù)測(cè)研究主要集中在網(wǎng)絡(luò)層和傳輸層,且僅采用單一的ARMA(n,n-1)模型來描述網(wǎng)絡(luò)的整體流量趨勢(shì)。本文模型的實(shí)驗(yàn)結(jié)果表明,在同一個(gè)城域網(wǎng)中不同的應(yīng)用層流量表現(xiàn)出不同的行為特征,經(jīng)A

7、RIMA季節(jié)乘積混合模型(p,d,q)(P,D,Q)s預(yù)測(cè)的應(yīng)用層流量趨勢(shì)與實(shí)際曲線基本相似,平均絕對(duì)百分比誤差在10％左右。
　　 4.基于多變量故障診斷技術(shù)的網(wǎng)絡(luò)異常檢測(cè)與分析
　　 借鑒控制領(lǐng)域中的多變量故障診斷技術(shù),本文提出了一種新的網(wǎng)絡(luò)異常檢測(cè)方法。由于監(jiān)測(cè)分析系統(tǒng)將數(shù)據(jù)流量指標(biāo)按已知應(yīng)用分解并存儲(chǔ),本文將應(yīng)用層流量指標(biāo)按一定的時(shí)間窗口建立一個(gè)流量數(shù)據(jù)矩陣,采用主成份等統(tǒng)計(jì)分析方法對(duì)這個(gè)高維相關(guān)變量空間進(jìn)行降維

8、,將其轉(zhuǎn)化為相互獨(dú)立的低維變量空間,實(shí)現(xiàn)對(duì)復(fù)雜過程數(shù)據(jù)的特征抽取,并建立相應(yīng)的主成份模型。主成份模型舍棄了部分殘差而保留體現(xiàn)數(shù)據(jù)變異的主要方向。由于變量間的相關(guān)關(guān)系,一個(gè)特定的異常會(huì)使測(cè)量值按照特定的規(guī)律變化,主成份模型則包含了異常在變量空間的變化方向。在反映過程主要變化的幾個(gè)主成份中,異常表現(xiàn)了它們對(duì)系統(tǒng)的不同影響。實(shí)際異常的監(jiān)測(cè)與分析可以依據(jù)基于主成份模型的平方預(yù)測(cè)誤差(SPE)統(tǒng)計(jì)圖法和主成份貢獻(xiàn)圖法來進(jìn)行的。通過SPE統(tǒng)計(jì)圖本文