IP網(wǎng)絡測量數(shù)據(jù)存儲與流量建模研究.pdf

1、IP網(wǎng)絡規(guī)模不斷擴大,異構化程度不斷增加,帶寬成倍增長,網(wǎng)絡日益復雜。IP網(wǎng)絡流量測量和建模研究與分析具有非常重要的作用和意義,它是網(wǎng)絡監(jiān)視預測、協(xié)議設計、設備開發(fā)、網(wǎng)絡管理與網(wǎng)絡性能提升的基礎,同時也是一項異常復雜且需要持續(xù)不斷進行的工作。而紛繁復雜的應用層業(yè)務、高速的網(wǎng)絡鏈路、海量的流量數(shù)據(jù)和持續(xù)變化的網(wǎng)絡給IP網(wǎng)絡流量測量和建模研究與分析帶來了巨大的挑戰(zhàn)。
　　 本文面向紛繁復雜的應用層業(yè)務和持續(xù)變化的網(wǎng)絡,充分利用自主研

2、發(fā)的支持高速鏈路的分布式網(wǎng)絡流量測量和控制系統(tǒng),設計改善流量測量數(shù)據(jù)的實時接口與存儲體系,并以當前國內(nèi)實際運營商網(wǎng)絡中的流量測量數(shù)據(jù)作為分析對象,將應用層流量作為研究的重點,分析應用層流量的特性、變化趨勢以及異常流量檢測等,采用統(tǒng)計學方法進行建模,通過實驗,驗證模型的可靠性。
　　 概括的講,本文的貢獻主要包含以下幾個方面:
　　 1.網(wǎng)絡監(jiān)測平臺與實時數(shù)據(jù)接口設計
　　 在流量數(shù)據(jù)的實時共享方式中,專用API接

3、口使用復雜,而MIB有相對好的標準化優(yōu)勢,但支持MIB的科學分析工具卻很少。為了解決海量流量數(shù)據(jù)的實時共享問題,本文提出建立開放分布式的高速網(wǎng)絡流量監(jiān)測平臺的一種設計方法,在監(jiān)測平臺上提供一個專門的OPC服務器,此OPC服務器與監(jiān)測平臺軟件通過共享內(nèi)存交換數(shù)據(jù),同時提供數(shù)據(jù)接口供其它的OPC client工具進行訪問。這是業(yè)界首次將OPC這種自動化控制領域中的世界標準用于網(wǎng)絡監(jiān)測平臺中,使平臺更有開放性和擴展性,可方便使用具有OPC c

4、lient功能的工具對網(wǎng)絡數(shù)據(jù)做各種分析。其它網(wǎng)絡服務系統(tǒng)可以通過這種通用的接口訪問到所需要的網(wǎng)絡數(shù)據(jù)指標,進行相關的服務控制。該方法已經(jīng)在自主研發(fā)的網(wǎng)絡監(jiān)測分析系統(tǒng)中得到應用。
　　 2.測量數(shù)據(jù)與多級流量數(shù)據(jù)存儲系統(tǒng)設計
　　 本文設計并實現(xiàn)了流量數(shù)據(jù)的多級存儲系統(tǒng),適應于不同精度的測量需求又兼顧了成本、性能和效率,并根據(jù)高速網(wǎng)絡流量的重尾分布特性,采用合理的流數(shù)據(jù)存儲策略,相對于Ciseo NetFlow采取的只存

5、儲流中的每個數(shù)據(jù)包的前N個字節(jié)的簡單方法,本方法大幅度減少要存儲的數(shù)據(jù)量,同時又保留了重要的網(wǎng)絡控制信息。為了提高流數(shù)據(jù)處理效率,本文還通過實驗分析并實現(xiàn)用于流數(shù)據(jù)處理串操作函數(shù)的指令級優(yōu)化方案。采用自主研發(fā)的網(wǎng)絡監(jiān)測分析系統(tǒng),作者在全國多個ISP架設實驗局進行監(jiān)測,包括電信運營商、網(wǎng)絡服務商以及企業(yè)用戶,獲取大量的一手數(shù)據(jù),從而深入了解我國互聯(lián)網(wǎng)的流量現(xiàn)狀,為本文的研究提供有力的基礎。
　　 3.應用層流量ARIMA季節(jié)乘積混

6、合預測模型
　　 本文提出基于應用層的流量預測分析模型,對國內(nèi)某城域網(wǎng)出口鏈路上的應用層流量序列采用ARIMA季節(jié)乘積混合模型(p,d,q)(P,D,Q)s建模并預測。Internet流量是具有復雜非線性組合特征的季節(jié)性時間序列。目前國內(nèi)外的網(wǎng)絡流量預測研究主要集中在網(wǎng)絡層和傳輸層,且僅采用單一的ARMA(n,n-1)模型來描述網(wǎng)絡的整體流量趨勢。本文模型的實驗結果表明,在同一個城域網(wǎng)中不同的應用層流量表現(xiàn)出不同的行為特征,經(jīng)A

7、RIMA季節(jié)乘積混合模型(p,d,q)(P,D,Q)s預測的應用層流量趨勢與實際曲線基本相似,平均絕對百分比誤差在10％左右。
　　 4.基于多變量故障診斷技術的網(wǎng)絡異常檢測與分析
　　 借鑒控制領域中的多變量故障診斷技術,本文提出了一種新的網(wǎng)絡異常檢測方法。由于監(jiān)測分析系統(tǒng)將數(shù)據(jù)流量指標按已知應用分解并存儲,本文將應用層流量指標按一定的時間窗口建立一個流量數(shù)據(jù)矩陣,采用主成份等統(tǒng)計分析方法對這個高維相關變量空間進行降維

8、,將其轉化為相互獨立的低維變量空間,實現(xiàn)對復雜過程數(shù)據(jù)的特征抽取,并建立相應的主成份模型。主成份模型舍棄了部分殘差而保留體現(xiàn)數(shù)據(jù)變異的主要方向。由于變量間的相關關系,一個特定的異常會使測量值按照特定的規(guī)律變化,主成份模型則包含了異常在變量空間的變化方向。在反映過程主要變化的幾個主成份中,異常表現(xiàn)了它們對系統(tǒng)的不同影響。實際異常的監(jiān)測與分析可以依據(jù)基于主成份模型的平方預測誤差(SPE)統(tǒng)計圖法和主成份貢獻圖法來進行的。通過SPE統(tǒng)計圖本文