基于Hadoop集群的節(jié)能優(yōu)化技術(shù)研究.pdf

1、計(jì)算機(jī)集群的廣泛應(yīng)用給人們帶來方便的同時(shí),也帶來了能耗問題,如何有效地利用能源,降低不必要的能耗已成為一個(gè)迫切需要解決的關(guān)鍵問題。作為目前最熱門的海量數(shù)據(jù)處理框架,Hadoop被部署到越來越多的集群上。但是Hadoop卻一直沒有引入節(jié)能的特性,因此對Hadoop集群的節(jié)能優(yōu)化技術(shù)進(jìn)行研究是非常有必要的。
　　基于現(xiàn)有的研究成果,結(jié)合Hadoop本身的機(jī)架感知特性和副本存放策略,提出了根據(jù)集群的負(fù)載情況調(diào)整集群規(guī)模來改善集群能源利用

2、率的節(jié)能方案。節(jié)能方案為集群添加兩個(gè)功能模塊:集群負(fù)載監(jiān)控模塊和集群規(guī)模調(diào)整模塊。負(fù)載監(jiān)控模塊負(fù)責(zé)監(jiān)控集群的利用率,當(dāng)監(jiān)控到利用率過高或過低時(shí)會(huì)通知集群規(guī)模調(diào)整模塊對集群規(guī)模進(jìn)行調(diào)整。集群規(guī)模調(diào)整模塊包含兩個(gè)重要的算法:退役節(jié)點(diǎn)算法和重用節(jié)點(diǎn)算法,集群利用率過低時(shí)會(huì)啟動(dòng)退役節(jié)點(diǎn)算法,通過退役節(jié)點(diǎn)來減少集群中活躍節(jié)點(diǎn)數(shù)量,以提高集群能源利用率,集群利用率過高時(shí)會(huì)啟動(dòng)重用節(jié)點(diǎn)算法來增加集群活躍節(jié)點(diǎn)數(shù)量,以提高集群對任務(wù)請求的響應(yīng)速度。