基于SDN的MapReduce帶寬優(yōu)化設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，越來越多的應(yīng)用產(chǎn)生了大量的數(shù)據(jù)處理需求，為了并行處理大規(guī)模數(shù)據(jù)，Hadoop作為開源的分布式系統(tǒng)基礎(chǔ)架構(gòu)被提了出來。然而在實際Hadoop系統(tǒng)中，一個嚴重影響其整體性能的問題（如何使作業(yè)完成時間最短）成為了一個NP完全問題，導(dǎo)致這個問題的主要因素是數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬的緊缺使MapReduce計算過程中數(shù)據(jù)遷移時間過長。而軟件定義網(wǎng)絡(luò)（SDN）作為一個創(chuàng)新性的網(wǎng)絡(luò)架構(gòu)，它將控制層面完全由交換設(shè)備中剝離出來，遷移到控制器中

2、，交換機只負責(zé)數(shù)據(jù)的轉(zhuǎn)發(fā)工作，從而實現(xiàn)了路由控制和數(shù)據(jù)轉(zhuǎn)發(fā)的分離。同時也使交換機能夠?qū)W(wǎng)絡(luò)中的數(shù)據(jù)進行靈活的處理，并且控制器能夠知曉全局網(wǎng)絡(luò)拓撲結(jié)構(gòu)，這讓我們看到了通過OpenFlow（SDN的具體實現(xiàn)）對Hadoop進行性能優(yōu)化的可能性。
　　由此本文首先分析了影響Hadoop工作性能的主要原因，是Map節(jié)點向Reduce節(jié)點進行數(shù)據(jù)遷移時間過長。針對該問題，我們提出利用SDN對網(wǎng)絡(luò)的靈活控制，讓Map中間值在交換機上進行數(shù)據(jù)合