基于Hadoop云平臺的網(wǎng)絡(luò)測量系統(tǒng)設(shè)計與實現(xiàn).pdf

1、近年來，隨著社會進步和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量逐年飛速增長且網(wǎng)絡(luò)規(guī)模變得日漸龐大，當前對網(wǎng)絡(luò)的性能、安全、服務(wù)質(zhì)量等指標進行統(tǒng)計分析面臨著海量數(shù)據(jù)的挑戰(zhàn)，從而使得監(jiān)控和評估網(wǎng)絡(luò)服務(wù)質(zhì)量變得越來越困難。目前，對海量網(wǎng)絡(luò)數(shù)據(jù)進行有效合理的收集存儲和統(tǒng)計分析已經(jīng)成為一個急需解決的問題。
　　傳統(tǒng)的集中式網(wǎng)絡(luò)測量技術(shù)在數(shù)據(jù)處理過程中，存在數(shù)據(jù)存儲成本過高、數(shù)據(jù)存儲管理困難、處理方法耗時嚴重、網(wǎng)絡(luò)測量并行處理程序編寫困難等問題，網(wǎng)絡(luò)

2、測量需要一種新的技術(shù)來解決這些問題。因此，利用開源云計算平臺的思想被提了出來。目前，基于云計算的網(wǎng)絡(luò)測量研究尚處于初級階段，測量過程中的海量數(shù)據(jù)收集存儲，數(shù)據(jù)分析并行算法等問題還待于進一步探索，利用云計算平臺的數(shù)據(jù)處理能力處理海量數(shù)據(jù)已經(jīng)成為目前網(wǎng)絡(luò)測量的發(fā)展方向，本文即為在這一發(fā)展過程中的工作成果。
　　本文采用Hadoop開源云計算平臺提供的分布式存儲系統(tǒng)HDFS和并行計算編程框架MapReduce，研究云計算平臺下網(wǎng)絡(luò)測量算

3、法作業(yè)設(shè)計問題，在此基礎(chǔ)上，實現(xiàn)了一個海量數(shù)據(jù)網(wǎng)絡(luò)測量系統(tǒng)。本文的主要工作有:1.設(shè)計了一個基于Hadoop云平臺的網(wǎng)絡(luò)測量系統(tǒng)框架，滿足了對海量數(shù)據(jù)收集存儲和測量作業(yè)的需要;2.研究探討了目前高速網(wǎng)絡(luò)數(shù)據(jù)報文捕獲和轉(zhuǎn)發(fā)技術(shù)，引入了分布式可靠存儲技術(shù)HDFS，實現(xiàn)了海量數(shù)據(jù)的高效收集和安全存儲;3.研究使用MapReduce框架編寫并行的網(wǎng)絡(luò)測量作業(yè)，實現(xiàn)了基于報文的TCP傳輸層性能測度計算和基于流數(shù)據(jù)的用戶行為分類兩個MapReduc