大規(guī)模NetFlow數(shù)據(jù)上的P2P流量檢測.pdf

1、隨著P2P得到越來越廣泛的應(yīng)用,P2P流量檢測逐漸成為網(wǎng)絡(luò)數(shù)據(jù)分析領(lǐng)域的一個熱門問題。有關(guān)報告表明,P2P應(yīng)用所產(chǎn)生的流量占據(jù)網(wǎng)絡(luò)總流量的50％以上。由于P2P應(yīng)用會導(dǎo)致網(wǎng)絡(luò)擁塞,對于電信運營商來說,如何從全部網(wǎng)絡(luò)流量中檢測出P2P應(yīng)用所產(chǎn)生的流量就成為一個非常重要的課題。P2P采用隨機(jī)端口進(jìn)行傳輸?shù)臋C(jī)制,以及P2P系統(tǒng)本身的復(fù)雜性、分布性和多變性,都增加了P2P流量檢測的難度。本文主要目的是研究如何有效地在大規(guī)模NetFlow數(shù)據(jù)上進(jìn)

2、行P2P流量檢測。目前的P2P檢測方法都是針對數(shù)據(jù)包的,對主干網(wǎng)上數(shù)量龐大的數(shù)據(jù)包進(jìn)行分析要耗費大量存儲和計算資源,因此學(xué)術(shù)界中大多數(shù)研究工作都無法得到實際應(yīng)用。目前投入使用的P2P檢測產(chǎn)品利用串接設(shè)備采集數(shù)據(jù)包內(nèi)容,并依靠硬件來進(jìn)行計算,具有部署代價昂貴、可擴(kuò)展相差、侵犯隱私等弊端。本文用NetFlow數(shù)據(jù)進(jìn)行P2P檢測,克服了上述問題。NetFlow數(shù)據(jù)對數(shù)據(jù)包信息進(jìn)行了匯總和統(tǒng)計,既保留了體現(xiàn)流量特征的重要信息,又降低了數(shù)據(jù)量,并

3、且NetFlow技術(shù)作為業(yè)界標(biāo)準(zhǔn)已經(jīng)在電信運營商中得到廣泛使用。本文的主要貢獻(xiàn)包括:1)根據(jù)P2P協(xié)議的運作原理,推測P2P在流量表現(xiàn)上可能具有的一系列特征。對每一條特征,都通過實驗驗證它在區(qū)分P2P流量和非P2P流量上的效果,根據(jù)實驗結(jié)果選擇有效的檢測特征。2)設(shè)計了一個基于NetFlow數(shù)據(jù)的P2P流量檢測算法。該算法將1)中選取的有效特征,按照檢測邏輯組織起來,使檢測更加高效。3)基于2)中的算法,實現(xiàn)了P2P流量檢測系統(tǒng)INFO

4、PAD。系統(tǒng)利用數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)的存儲,用SQL查詢的方式來實現(xiàn)檢測算法,很好地解決了對大量流量數(shù)據(jù)進(jìn)行存儲和計算的問題。在系統(tǒng)中各個檢測規(guī)則形成獨立的模塊,新規(guī)則可以作為新模塊方便地整合到系統(tǒng)中來,系統(tǒng)架構(gòu)具有良好的開放性和可擴(kuò)展性。4)對INFOPAD系統(tǒng)采用上海電信路由器上采集的真實NetFlow數(shù)據(jù)進(jìn)行實驗,并根據(jù)上海電信提供的深度包檢測(DPI)報告對檢測結(jié)果進(jìn)行驗證。通過實驗證明,INFOPAD系統(tǒng)的檢測算法能夠達(dá)到較高的準(zhǔn)確