基于分布式架構(gòu)的IP活動(dòng)庫的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本文的研究內(nèi)容屬于211工程三期公共服務(wù)體系建設(shè)項(xiàng)目“中國教育和科研計(jì)算機(jī)網(wǎng)主干網(wǎng)和重點(diǎn)學(xué)科信息服務(wù)體系升級擴(kuò)容工程”。其主要研究目標(biāo)是:針對流經(jīng)CERNET主干網(wǎng)中的IP流記錄具有持續(xù)性和海量性的特征，通過對IP活動(dòng)庫數(shù)據(jù)模型，插入機(jī)制，查詢機(jī)制和存儲(chǔ)空間管理的研究，建立起滿足CERNET運(yùn)行管理和安全保障所需的IP活動(dòng)庫，從而支持用戶對IP流記錄的查詢以完成流活動(dòng)分析。
　　本文的主要任務(wù)是設(shè)計(jì)并實(shí)現(xiàn)IP活動(dòng)庫的數(shù)據(jù)模型，數(shù)據(jù)

2、插入算法，實(shí)時(shí)查詢算法，周期性維護(hù)算法和系統(tǒng)功能。
　　IP活動(dòng)庫的數(shù)據(jù)模型包括數(shù)據(jù)生命周期模型和數(shù)據(jù)管理模型。針對到達(dá)IP活動(dòng)庫的CERNET流記錄具有海量性和持續(xù)性的特征，以及IP活動(dòng)庫存儲(chǔ)空間的有限性，論文研究IP活動(dòng)庫中流記錄的生命周期形態(tài)，并基于生命周期形態(tài)轉(zhuǎn)變，設(shè)計(jì)了數(shù)據(jù)生命周期模型。同時(shí)，基于生命周期模型，完成數(shù)據(jù)管理模型，從而實(shí)現(xiàn)IP活動(dòng)庫流記錄的動(dòng)態(tài)生命周期。
　　IP活動(dòng)庫的數(shù)據(jù)插入算法包括流記錄解析方案

3、和設(shè)計(jì)流記錄插入機(jī)制。針對到達(dá)IP活動(dòng)庫的CERNET流記錄采用的是Netflow9動(dòng)態(tài)模板，論文設(shè)計(jì)CERNET流解析方案，完成對IP流記錄的解析。另外，考慮ElasticSearch優(yōu)越的查詢性能選取ElasticSearch作為后臺數(shù)據(jù)庫，完成對IP活動(dòng)庫的插入。
　　IP活動(dòng)庫的實(shí)時(shí)查詢算法包括用戶界面，復(fù)雜查詢和實(shí)時(shí)查詢方案。論文針對用戶需對IP活動(dòng)庫進(jìn)行交互式分析，設(shè)計(jì)并實(shí)現(xiàn)簡潔清晰的用戶界面。論文針對用戶的復(fù)雜查詢，

4、設(shè)計(jì)單值、多值和批量查詢函數(shù)。論文針對IP活動(dòng)庫的分布式架構(gòu)，數(shù)據(jù)的海量性特征，設(shè)計(jì)實(shí)時(shí)查詢方案，支持用戶對IP活動(dòng)庫實(shí)時(shí)查詢。
　　IP活動(dòng)庫的周期性維護(hù)算法包括周期性合并，周期性壓縮和周期性刪除。論文針對CERNET流記錄的持續(xù)性和海量性，IP活動(dòng)庫的存儲(chǔ)空間有限性，以及數(shù)據(jù)生命周期模型的動(dòng)態(tài)性特征，設(shè)計(jì)周期性合并方案，周期性壓縮方案，周期性刪除方案，完成了數(shù)據(jù)生命時(shí)期的轉(zhuǎn)換和IP活動(dòng)庫存儲(chǔ)空間的壓縮。
　　IP活動(dòng)庫系