通用數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet的飛速發(fā)展,網(wǎng)絡(luò)規(guī)模逐漸擴(kuò)大,網(wǎng)絡(luò)流量行為也越來(lái)越復(fù)雜,導(dǎo)致異常行為增多,所以有必要對(duì)這些網(wǎng)絡(luò)行為進(jìn)行監(jiān)測(cè)和分析。因此,基于異常流量分析系統(tǒng)的數(shù)據(jù)采集、處理就顯得十分重要。隨著網(wǎng)絡(luò)帶寬的不斷增加,在高速網(wǎng)絡(luò)條件下如何更有效率的進(jìn)行數(shù)據(jù)采集和處理,對(duì)流量異常檢測(cè)及系統(tǒng)來(lái)說(shuō)是一個(gè)非常關(guān)鍵的問(wèn)題,也是本文研究的內(nèi)容。
　　 本文將幾種高效率的數(shù)據(jù)采集技術(shù)有機(jī)的整合起來(lái),設(shè)計(jì)出一個(gè)通用的數(shù)據(jù)采集系統(tǒng)的系統(tǒng)架構(gòu),實(shí)現(xiàn)了

2、支持?jǐn)?shù)據(jù)包和數(shù)據(jù)流兩個(gè)層面數(shù)據(jù)的數(shù)據(jù)采集系統(tǒng),為各種異常檢測(cè)及分析系統(tǒng)提供定制數(shù)據(jù)采集的支持。本文做的主要工作如下:(1)分析了一些常見(jiàn)的異常流量檢測(cè)及分析系統(tǒng)的數(shù)據(jù)需求,從數(shù)據(jù)包、數(shù)據(jù)流兩個(gè)層次為異常流量檢測(cè)及分析系統(tǒng)提供數(shù)據(jù)的定制采集和數(shù)據(jù)的預(yù)處理,減輕了這些系統(tǒng)的負(fù)擔(dān)。(2)對(duì)采集到的數(shù)據(jù)包進(jìn)行流歸并,將生成的數(shù)據(jù)流和之前采集到的數(shù)據(jù)包統(tǒng)一放到存儲(chǔ)區(qū)內(nèi),進(jìn)行整理和調(diào)度,并通過(guò)輸出通道和輸出接口將數(shù)據(jù)傳遞給異常流量檢測(cè)及分析系統(tǒng)使用

3、。(3)設(shè)計(jì)并實(shí)現(xiàn)了通用的數(shù)據(jù)采集系統(tǒng)。詳細(xì)介紹了采集系統(tǒng)的框架、各功能模塊的功能以及各個(gè)模塊之間的聯(lián)系。設(shè)計(jì)的系統(tǒng)具有高效率、通用性和擴(kuò)展性的特點(diǎn)。
　　 通用數(shù)據(jù)采集系統(tǒng)具有以下三個(gè)主要的特點(diǎn):第一,系統(tǒng)采用的數(shù)據(jù)采集技術(shù)結(jié)合了內(nèi)存映射技術(shù)和雙輪詢技術(shù)來(lái)優(yōu)化流量采集過(guò)程,降低了系統(tǒng)的開(kāi)銷,提高了效率。第二,提供定制數(shù)據(jù)采集的功能,通過(guò)不同的過(guò)濾條件來(lái)篩選數(shù)據(jù)包和數(shù)據(jù)流,為多種異常流量檢測(cè)及分析系統(tǒng)提供數(shù)據(jù),保證了其通用性。第