面向網(wǎng)絡(luò)流的數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet的高速發(fā)展和普及，網(wǎng)絡(luò)已經(jīng)和人們的日常生產(chǎn)生活密不可分。Internet上數(shù)以億記的各種數(shù)據(jù)源，每時(shí)每刻都在產(chǎn)生著海量的數(shù)據(jù)流，另外，由于硬件設(shè)備也日趨發(fā)展與完善，越來(lái)越多的領(lǐng)域部門也會(huì)自動(dòng)的產(chǎn)生高速的海量數(shù)據(jù)流，如金融服務(wù)、網(wǎng)絡(luò)通信數(shù)據(jù)、移動(dòng)通信數(shù)據(jù)等等。這些數(shù)據(jù)連續(xù)到達(dá)、速度快、流量巨大，而且持續(xù)變化，這樣的數(shù)據(jù)被稱為流數(shù)據(jù)。因?yàn)榱鲾?shù)據(jù)的這些特點(diǎn)都使得傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)很難或者無(wú)法對(duì)這些數(shù)據(jù)進(jìn)行詳細(xì)分析和管理，因

2、此，設(shè)計(jì)開發(fā)一種用于流數(shù)據(jù)管理的系統(tǒng)，具有重要的現(xiàn)實(shí)意義。
　　本文針對(duì)現(xiàn)實(shí)應(yīng)用的實(shí)際需求，開發(fā)面向網(wǎng)絡(luò)流量的流數(shù)據(jù)管理系統(tǒng)。系統(tǒng)運(yùn)行在GUN Linux系統(tǒng)環(huán)境下，主要使用C/C++開發(fā)，設(shè)計(jì)實(shí)現(xiàn)了針對(duì)當(dāng)前網(wǎng)絡(luò)中的數(shù)據(jù)流進(jìn)行捕獲分析管理，可以為用戶提供基于特定IP的實(shí)時(shí)查詢以及相關(guān)的頻繁項(xiàng)統(tǒng)計(jì)等功能。本篇論文詳細(xì)描述了系統(tǒng)中數(shù)據(jù)流采集模塊、流數(shù)據(jù)處理引擎、數(shù)據(jù)庫(kù)交互模塊、概要數(shù)據(jù)結(jié)構(gòu)、用戶查詢解析模塊以及用戶接口模塊等6個(gè)主要模