數(shù)據(jù)包捕獲系統(tǒng)的存儲(chǔ)性能優(yōu)化方法研究及實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)用戶(hù)的持續(xù)增長(zhǎng)、網(wǎng)絡(luò)應(yīng)用的不斷涌現(xiàn),互聯(lián)網(wǎng)已成為人類(lèi)社會(huì)的信息基礎(chǔ)設(shè)施。目前互聯(lián)網(wǎng)的網(wǎng)絡(luò)規(guī)模正繼續(xù)擴(kuò)大,網(wǎng)絡(luò)傳輸速率也越來(lái)越高。由于互聯(lián)網(wǎng)的基礎(chǔ)性地位,提高網(wǎng)絡(luò)資源使用效率,優(yōu)化網(wǎng)絡(luò)性能,保證互聯(lián)網(wǎng)的高效運(yùn)行非常重要。網(wǎng)絡(luò)流量監(jiān)測(cè)通過(guò)對(duì)網(wǎng)絡(luò)流量的采集與分析,可對(duì)網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行全面了解,從而為網(wǎng)絡(luò)管理、網(wǎng)絡(luò)優(yōu)化、協(xié)議設(shè)計(jì)、網(wǎng)絡(luò)行為分析、網(wǎng)絡(luò)安全等提供了依據(jù)和指導(dǎo),成為研究的焦點(diǎn),得到人們的重視。
　　網(wǎng)絡(luò)流量監(jiān)測(cè)的主要過(guò)程

2、包括網(wǎng)絡(luò)流量的實(shí)時(shí)采集、數(shù)據(jù)包存儲(chǔ)與后續(xù)流量分析等,其中流量實(shí)時(shí)采集是基礎(chǔ)。以保證包捕獲過(guò)程不丟包為目標(biāo),目前已提出了多種包捕獲的方法和工具來(lái)實(shí)現(xiàn)流量的實(shí)時(shí)采集,它們的改進(jìn)主要集中在提高數(shù)據(jù)包從網(wǎng)卡拷貝到內(nèi)存的效率。但對(duì)于流量監(jiān)測(cè)而言,通常流量的實(shí)時(shí)采集和實(shí)時(shí)存儲(chǔ)是不可分割的過(guò)程,在對(duì)包捕獲過(guò)程進(jìn)行了優(yōu)化之后,數(shù)據(jù)包的實(shí)時(shí)存儲(chǔ)往往成為性能瓶頸。已有研究在數(shù)據(jù)包存儲(chǔ)時(shí)由于需要在用戶(hù)空間和內(nèi)核空間反復(fù)進(jìn)行數(shù)次拷貝,使得包捕獲系統(tǒng)最終出現(xiàn)丟包

3、。本文在對(duì)包捕獲技術(shù)及系統(tǒng)的深入調(diào)研和分析的基礎(chǔ)上,對(duì)數(shù)據(jù)包捕獲系統(tǒng)的實(shí)時(shí)存儲(chǔ)過(guò)程進(jìn)行改進(jìn)和優(yōu)化,完成的主要工作有:
　　1.對(duì)現(xiàn)有的包捕獲技術(shù)和系統(tǒng)進(jìn)行了較深入的調(diào)研和分析。發(fā)現(xiàn)現(xiàn)有技術(shù)主要關(guān)注優(yōu)化數(shù)據(jù)包從網(wǎng)卡拷貝到內(nèi)存時(shí)的流程,降低數(shù)據(jù)包捕獲時(shí)的開(kāi)銷(xiāo)。但由于流量監(jiān)測(cè)往往還需要將捕獲的數(shù)據(jù)包存儲(chǔ)到硬盤(pán)等外部存儲(chǔ)設(shè)備,現(xiàn)有技術(shù)較少在這方面進(jìn)行優(yōu)化,使得數(shù)據(jù)包存儲(chǔ)時(shí)還需要在用戶(hù)空間和內(nèi)核空間進(jìn)行多次拷貝,開(kāi)銷(xiāo)較大,出現(xiàn)丟包。

4、　　2.以通用軟、硬件架構(gòu)為平臺(tái),提出了一種從內(nèi)核空間直接到外部存儲(chǔ)的數(shù)據(jù)包實(shí)時(shí)存儲(chǔ)方法。實(shí)現(xiàn)了一個(gè)內(nèi)核空間的包捕獲和存儲(chǔ)模塊來(lái)改善存儲(chǔ)效率。所提出的LPKP內(nèi)核數(shù)據(jù)包捕獲模塊通過(guò)實(shí)現(xiàn)內(nèi)核直接寫(xiě)磁盤(pán)、數(shù)據(jù)包緩存優(yōu)化設(shè)計(jì)及多核 CPU的優(yōu)化調(diào)度等措施使數(shù)據(jù)包捕獲在整個(gè)從網(wǎng)卡到磁盤(pán)存儲(chǔ)過(guò)程都沒(méi)有穿過(guò)用戶(hù)空間,同時(shí)避免了內(nèi)核到用戶(hù)空間以及用戶(hù)到內(nèi)核空間的內(nèi)存拷貝所帶來(lái)的開(kāi)銷(xiāo),消除了不必要的內(nèi)存拷貝。
　　3.搭建了實(shí)驗(yàn)平臺(tái),對(duì)所提出的方