數(shù)據(jù)局部性感知的Hadoop任務(wù)調(diào)度器.pdf

1、任務(wù)調(diào)度是分布式并行計算平臺，如 Hadoop、Dryad等，最核心的功能。任務(wù)調(diào)度結(jié)果的優(yōu)劣極大地影響著系統(tǒng)吞吐率、計算集群的資源利用率以及作業(yè)的性能。同時，由于計算集群的異構(gòu)性、負載的動態(tài)可變性以及任務(wù)特征的多樣性等原因，也使得調(diào)度問題成為了分布式集群中最困難的問題之一。本文在大量地研究了當(dāng)前的分布式并行計算平臺中的各種調(diào)度算法的基礎(chǔ)上，深入研究了當(dāng)前Hadoop系統(tǒng)中的任務(wù)調(diào)度算法的優(yōu)缺點，特別針對MapReduce的資源再分配過

2、程進行了改進和優(yōu)化：
　　1）針對當(dāng)前Hadoop系統(tǒng)在Map任務(wù)的調(diào)度時采用的基于隊列的任務(wù)調(diào)度方式所存在的缺點（數(shù)據(jù)本地化程度不能達到最佳），將調(diào)度問題重新映射為一個流網(wǎng)絡(luò)并且通過對流網(wǎng)絡(luò)的最大流求解，以獲得在節(jié)省網(wǎng)絡(luò)開銷方面更優(yōu)的調(diào)度方案。
　　2）在1）的基礎(chǔ)上對算法進一步細化和改進，考慮任務(wù)對節(jié)點的偏好度，以達到進一步降低網(wǎng)絡(luò)開銷的目的。
　　3）核心路由器的帶寬往往是限制數(shù)據(jù)傳輸速率的最主要的因素，本文通過