作業(yè)感知的Hadoop集群網(wǎng)絡(luò)調(diào)度方法研究.pdf

1、近年來，數(shù)據(jù)呈爆炸式增長，數(shù)據(jù)中心已經(jīng)成為處理大數(shù)據(jù)的核心基礎(chǔ)設(shè)施。為了能夠快速有效地分析和提取數(shù)據(jù)中有價(jià)值的信息，研究人員提出了分布式計(jì)算框架，如Hadoop、Dryad等。這些框架將大數(shù)據(jù)劃分成多個(gè)數(shù)據(jù)分片，利用集群中數(shù)以千計(jì)的機(jī)器并行的處理每個(gè)數(shù)據(jù)分片，最后通過網(wǎng)絡(luò)傳輸分片的結(jié)果并匯總成最終的結(jié)果。提高集群利用率，減少運(yùn)行應(yīng)用的完成時(shí)間是每個(gè)數(shù)據(jù)中心的共同目標(biāo)。
　　在數(shù)據(jù)中心中，大數(shù)據(jù)應(yīng)用框架如Hadoop在不同的運(yùn)算階段

2、會(huì)產(chǎn)生大量的網(wǎng)絡(luò)傳輸，已經(jīng)成為影響應(yīng)用性能的重要因素。通過對網(wǎng)絡(luò)流的調(diào)度可以提高應(yīng)用的性能。傳統(tǒng)的方法大多數(shù)從網(wǎng)絡(luò)流的角度進(jìn)行調(diào)度，并沒有考慮網(wǎng)絡(luò)流之間的相關(guān)性。本文以Hadoop作為具體的實(shí)例，從應(yīng)用層獲得shuffle階段網(wǎng)絡(luò)流的信息，并根據(jù)shuffle階段網(wǎng)絡(luò)流的特點(diǎn)采用基于作業(yè)的優(yōu)先級調(diào)度方法對數(shù)據(jù)流進(jìn)行調(diào)度。
　　首先，我們觀察到關(guān)于shuffle階段網(wǎng)絡(luò)流的信息存儲在Hadoop應(yīng)用框架的臨時(shí)文件和日志文件中。因此我

3、們可以從從應(yīng)用層來獲得網(wǎng)絡(luò)流信息。通過對這些文件的實(shí)時(shí)監(jiān)控和分析，我們可以獲得網(wǎng)絡(luò)流信息和相互依賴關(guān)系。
　　其次，我們利用全局視圖，采用基于作業(yè)的優(yōu)先級調(diào)度方法優(yōu)化shuffle階段網(wǎng)絡(luò)傳輸。關(guān)鍵在于為所屬相同作業(yè)的網(wǎng)絡(luò)流分配相同的優(yōu)先級。采用優(yōu)先級調(diào)度策略，高優(yōu)先級的網(wǎng)絡(luò)流優(yōu)先獲得網(wǎng)絡(luò)資源。通過這種優(yōu)先級分配方式，使shuffle階段一個(gè)作業(yè)的網(wǎng)絡(luò)流能夠盡快地一起完成，避免因?yàn)槟骋粋€(gè)網(wǎng)絡(luò)流的延遲導(dǎo)致作業(yè)長時(shí)間的等待。我們從路徑

4、管理和交換機(jī)端的緩沖隊(duì)列管理兩個(gè)角度出發(fā)，為作業(yè)分配網(wǎng)絡(luò)資源。在Fat-Tree拓?fù)湎?，我們提出flow-based和spray兩種利用等價(jià)多路徑的方法，實(shí)現(xiàn)網(wǎng)絡(luò)上的負(fù)載均衡。在交換機(jī)端，我們設(shè)置多個(gè)優(yōu)先級隊(duì)列，提出隊(duì)列管理方法。數(shù)據(jù)包在到達(dá)交換機(jī)時(shí)根據(jù)分配的優(yōu)先級，加入到相應(yīng)的優(yōu)先級隊(duì)列中。
　　最后，在NS2網(wǎng)絡(luò)模擬平臺上模擬我們的調(diào)度方法進(jìn)行大量對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，基于作業(yè)的優(yōu)先級調(diào)度方法能夠減少shuffle階段作業(yè)的