基于Hadoop的網(wǎng)絡(luò)流量分流并行化設(shè)計與實現(xiàn).pdf

1、網(wǎng)絡(luò)流量分類對網(wǎng)絡(luò)管理、安全預測和流量工程等方面的研究提供了重要的技術(shù)支持。隨著互聯(lián)網(wǎng)中應(yīng)用種類不斷出新和形態(tài)快速變化，研究網(wǎng)絡(luò)分類的意義逐步體現(xiàn)出來。流量分流是網(wǎng)絡(luò)流量分類中基礎(chǔ)的步驟之一，然而網(wǎng)絡(luò)流量分流因為耗時太長已經(jīng)成為網(wǎng)絡(luò)流量分類的技術(shù)瓶頸。
　　 云計算透明的、簡單的編程模型在服務(wù)開發(fā)和部署方面為我們提供了新的思維方式。其中Apache公司提出的Hadoop平臺是開源的云計算平臺，是當前應(yīng)用最為廣泛的云計算平臺。它使

2、用Java編程語言實現(xiàn)了MapReduce編程模型和分布式文件系統(tǒng)HDFS(HadoopDistributedFileSystem)。MapReduce模型不僅是一種簡單的并行計算模型，為實現(xiàn)大規(guī)模計算的自動并發(fā)和分布式執(zhí)行提供了可能，而且還是優(yōu)秀的調(diào)度模型。HDFS分布式文件系統(tǒng)是以塊序列形式進行文件存儲，并通過復制塊的方式來保證高可靠性。
　　 本文在分析了網(wǎng)絡(luò)流量中網(wǎng)絡(luò)流的特點之后，研究了基于MapReduce模型的網(wǎng)絡(luò)流

3、量分流并行處理的關(guān)鍵技術(shù)，并且給出了一個基于Hadoop平臺的網(wǎng)絡(luò)流量分流并行處理的設(shè)計和實現(xiàn)方案。首先介紹了網(wǎng)絡(luò)流量分類的體系結(jié)構(gòu)和網(wǎng)絡(luò)流的概念以及如何進行分流。然后進行分流并行的可行性分析，提出在Linux環(huán)境下搭建Hadoop平臺提取網(wǎng)絡(luò)流量中數(shù)據(jù)包的特征，并根據(jù)規(guī)約條件將數(shù)據(jù)包歸并為一個完整的數(shù)據(jù)流。最后在Linux環(huán)境下實現(xiàn)了本系統(tǒng)，利用該系統(tǒng)對捕獲到的內(nèi)蒙古大學校園網(wǎng)絡(luò)流量進行分流，并進行了實驗和驗證。實驗結(jié)果表明，對于大數(shù)