基于存儲驅(qū)動的Hadoop節(jié)能調(diào)度策略研究.pdf

1、二十一世紀是信息的時代，信息傳輸伴隨著數(shù)據(jù)量的增加，人們逐漸發(fā)現(xiàn)隱含在這些海量數(shù)據(jù)下的價值，于是用于分析處理海量數(shù)據(jù)的平臺應運而生，Hadoop便是這其中最經(jīng)典的海量數(shù)據(jù)處理框架。Hadoop需要構建一個龐大的數(shù)據(jù)節(jié)點集群，通過HDFS，Yarn，MapReduce等組件實現(xiàn)海量數(shù)據(jù)的高效并行計算。然而近年來二氧化碳等溫室氣體的排放量逐年增加，導致了全球溫室效應日益嚴重，與此同時大規(guī)模數(shù)據(jù)中心需要龐大的服務器集群作為支撐，以及大規(guī)模的制

2、冷設備會消耗大量的能量以及企業(yè)成本開銷，使得數(shù)據(jù)中心的節(jié)能減排問題越來越受到重視，基于這些原因使得Hadoop節(jié)能研究變得十分必要。
　　本文通過對Hadoop自帶的隨機選擇存儲策略和磁盤輪詢存儲策略兩種副本存儲策略深入剖析，找出兩種策略在能耗控制方面的缺陷，同時結(jié)合數(shù)據(jù)本地化的Hadoop任務調(diào)度原則，本文提出一種策略，即通過數(shù)據(jù)本地化原則將任務的調(diào)度問題轉(zhuǎn)化為數(shù)據(jù)塊副本的調(diào)度問題，創(chuàng)新的設計出一種基于存儲驅(qū)動的Hadoop節(jié)能

3、調(diào)度策略，同時構建出兩層副本存儲策略來控制集群負載均衡以及能量消耗，作為本文設計的節(jié)能調(diào)度策略的核心。
　　本文設計的節(jié)能策略可以實現(xiàn)Hadoop集群任務的運行時間和總體能耗兩個維度上的節(jié)能。該策略核心是兩層副本存儲策略。其中第一層副本存儲策略根據(jù)數(shù)據(jù)節(jié)點磁盤的剩余容量，讀寫操作引用數(shù)實現(xiàn)兩層算法，通過實現(xiàn)負載均衡提高集群整體性能，從而減少任務的運行時間。第二層副本存儲策略主要考慮任務本身的種類特征以及任務所在數(shù)據(jù)節(jié)點的實時狀態(tài)，

4、通過對任務特征任務與數(shù)據(jù)節(jié)點的實時狀態(tài)進行匹配，使任務被分配到能耗最少的數(shù)據(jù)節(jié)點上執(zhí)行，從而達到減少集群能耗的目的。
　　最后本文通過XenServer平臺搭建了具有32個數(shù)據(jù)節(jié)點的Hadoop集群環(huán)境，首先通過兩組實驗得出了本文設計的能量度量模型理論推導公式的近似參數(shù)，接下來將本文設計的節(jié)能調(diào)度策略與Hadoop自帶的隨機選擇和磁盤輪詢存儲策略相對比，用三組對比實驗證明了本文設計的節(jié)能調(diào)度策略在控制數(shù)據(jù)節(jié)點磁盤負載均衡方面具有較