基于狀態(tài)矩陣的Hadoop YARN節(jié)能調(diào)度策略的研究.pdf

1、隨著云計(jì)算集群規(guī)模的快速擴(kuò)張，其所帶來(lái)的能量消耗和成本越來(lái)越巨大，不論從經(jīng)濟(jì)角度還是環(huán)保角度，如何降低集群的能量消耗，實(shí)現(xiàn)“綠色計(jì)算”，已經(jīng)成為急需解決的問題，“綠色計(jì)算”也是當(dāng)前云計(jì)算領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　作為開源云計(jì)算平臺(tái)系統(tǒng)中的佼佼者，Hadoop的應(yīng)用變得越來(lái)越廣泛，包括互聯(lián)網(wǎng)、金融、醫(yī)療、零售等行業(yè)開始使用Hadoop。本文從實(shí)際角度出發(fā)，以集群資源調(diào)度策略作為切入點(diǎn)，針對(duì)Hadoop YARN系統(tǒng)，研究了基于狀態(tài)矩

2、陣的節(jié)能調(diào)度策略，并結(jié)合Hadoop YARN系統(tǒng)組成結(jié)構(gòu)和實(shí)現(xiàn)原理，實(shí)現(xiàn)了一個(gè)YARN節(jié)能資源調(diào)度器。
　　本文設(shè)計(jì)的節(jié)能資源調(diào)度策略主要有兩個(gè)原則：（1）服務(wù)最優(yōu)原則，即在資源調(diào)度時(shí)，其所選擇的任務(wù)在對(duì)應(yīng)節(jié)點(diǎn)應(yīng)該能夠獲得較為高效的服務(wù)；（2）能耗最低原則，在保證服務(wù)的基礎(chǔ)上，最終選擇的任務(wù)應(yīng)是所有任務(wù)中使得節(jié)點(diǎn)功耗最低的一個(gè)。為了滿足以上兩個(gè)調(diào)度原則，需要對(duì)集群各個(gè)節(jié)點(diǎn)的負(fù)載情況進(jìn)行監(jiān)控，為此本文構(gòu)建了一個(gè)用于描述集群節(jié)點(diǎn)負(fù)載

3、情況的狀態(tài)矩陣，并以狀態(tài)矩陣為基礎(chǔ)，設(shè)計(jì)了負(fù)載預(yù)測(cè)模型對(duì)節(jié)點(diǎn)未來(lái)狀態(tài)進(jìn)行估算，設(shè)計(jì)了功率計(jì)算模型，根據(jù)負(fù)載狀態(tài)對(duì)節(jié)點(diǎn)功率進(jìn)行計(jì)算。
　　在節(jié)能調(diào)度流程上，本文首先依據(jù)應(yīng)用的資源使用特征對(duì)應(yīng)用進(jìn)行了聚類分析，具體的調(diào)度策略分為兩個(gè)階段：（1）根據(jù)節(jié)點(diǎn)的負(fù)載預(yù)測(cè)數(shù)據(jù)以及應(yīng)用的資源使用特征，以服務(wù)最優(yōu)原則選擇適合在此節(jié)點(diǎn)運(yùn)行的備選應(yīng)用集；（2）依據(jù)能耗最低原則，在備選應(yīng)用集中，依據(jù)功率計(jì)算模型，選擇一個(gè)能夠使節(jié)點(diǎn)功率最低的作為目標(biāo)應(yīng)用。

4、
　　在以上研究基礎(chǔ)上，本文通過分析Hadoop YARN各個(gè)組件的功能以及調(diào)度器實(shí)現(xiàn)原理，將節(jié)能資源調(diào)度的各功能模塊在原系統(tǒng)中進(jìn)行了實(shí)現(xiàn)。通過對(duì)重新設(shè)計(jì)過的系統(tǒng)進(jìn)行完全分布式部署測(cè)試，節(jié)能調(diào)度的資源監(jiān)控、能耗計(jì)算、負(fù)載預(yù)測(cè)以及資源調(diào)度等主要功能均能正常工作。通過設(shè)計(jì)對(duì)比實(shí)驗(yàn)對(duì)節(jié)能調(diào)度器、FIFO Scheduler、Capacity Scheduler進(jìn)行了比較，結(jié)果表明，節(jié)能調(diào)度器在保證了執(zhí)行效率的基礎(chǔ)上，在降低集群整體能耗方