基于SLA感知的Hadoop YARN節(jié)能調(diào)度策略研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展和互聯(lián)網(wǎng)的迅速普及，人們從信息接收者逐漸轉(zhuǎn)變?yōu)樾畔⒌纳a(chǎn)者，信息的爆炸式增長(zhǎng)推動(dòng)著互聯(lián)網(wǎng)進(jìn)入大數(shù)據(jù)時(shí)代。如今大數(shù)據(jù)已經(jīng)成為一種重要的戰(zhàn)略資源和新型決策方式，而云計(jì)算則為大數(shù)據(jù)分析與處理提供了強(qiáng)大的存儲(chǔ)和計(jì)算能力。Hadoop是Apache軟件基金會(huì)旗下的一個(gè)開(kāi)源的分布式計(jì)算平臺(tái)，它可以部署在普通的商業(yè)硬件上，具有高容錯(cuò)和低成本的特性。隨著大數(shù)據(jù)和云計(jì)算的興起，越來(lái)越多的公司開(kāi)始利用Hadoop平臺(tái)來(lái)提供云服務(wù)。高性

2、能計(jì)算集群的日益增加和大規(guī)模部署帶來(lái)了巨大的能源消耗，云服務(wù)提供商不僅需要滿足用戶在服務(wù)等級(jí)協(xié)議(SLA)中提出的需求，還要在保證服務(wù)質(zhì)量的前提下盡可能地降低資源成本。
　　為了克服Hadoop1.0在可靠性、可擴(kuò)展性和資源利用率等方面存在的局限性，Hadoop2.0將其資源管理功能抽象成了一個(gè)獨(dú)立的通用系統(tǒng)YARN。YARN能夠同時(shí)支持多種計(jì)算框架（如MapReduce、Spark、Storm等），并對(duì)集群系統(tǒng)中的資源進(jìn)行統(tǒng)一管

3、理和調(diào)度，這種共享集群的模式具有資源利用率高、運(yùn)維成本低以及數(shù)據(jù)共享的優(yōu)點(diǎn)。作為當(dāng)前最流行的集群資源管理系統(tǒng)，YARN在迎來(lái)發(fā)展機(jī)遇的同時(shí)仍然面臨著兩個(gè)嚴(yán)峻的挑戰(zhàn):一是根據(jù)每個(gè)應(yīng)用程序的SLA中指定的截止時(shí)間自動(dòng)調(diào)整和控制資源分配，二是基于截止時(shí)間約束減少整個(gè)集群系統(tǒng)的能源消耗。因此，Hadoop YARN在云計(jì)算環(huán)境下的資源分配和節(jié)能調(diào)度已經(jīng)成為目前亟待研究和解決的問(wèn)題。
　　針對(duì)上述問(wèn)題和挑戰(zhàn)，本文提出了一種基于SLA感知的H

4、adoop YARN節(jié)能調(diào)度策略。該策略通過(guò)對(duì)多租戶云計(jì)算環(huán)境下的MapReduce程序進(jìn)行預(yù)測(cè)分析來(lái)獲得各個(gè)階段的性能指標(biāo)，根據(jù)這些性能指標(biāo)和SLA中指定的截止時(shí)間可以確定程序兩階段任務(wù)的并行度;然后利用SLA感知資源調(diào)度器為每個(gè)應(yīng)用程序動(dòng)態(tài)地分配資源，從而確保任務(wù)并行度在運(yùn)行過(guò)程中不會(huì)發(fā)生變化;最后結(jié)合動(dòng)態(tài)電壓頻率調(diào)整(DVFS)技術(shù)實(shí)現(xiàn)任務(wù)調(diào)度以達(dá)到節(jié)能的目的。綜上所述，本文提出的節(jié)能調(diào)度策略能夠在多租戶云計(jì)算環(huán)境下合理地分配資源

5、，同時(shí)在保證截止時(shí)間的前提下最大限度地降低云計(jì)算平臺(tái)的能耗。
　　網(wǎng)絡(luò)帶寬一直是制約云計(jì)算發(fā)展的瓶頸之一，基于SLA感知的Hadoop YARN節(jié)能調(diào)度策略充分利用了Hadoop數(shù)據(jù)本地化的特性來(lái)減少網(wǎng)絡(luò)通信，并利用數(shù)據(jù)傳輸產(chǎn)生的松弛時(shí)間實(shí)現(xiàn)任務(wù)節(jié)能調(diào)度。此外，本文使用了CloudSim云計(jì)算仿真平臺(tái)來(lái)評(píng)估資源分配算法和節(jié)能調(diào)度算法的性能。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的YARN資源調(diào)度方案相比，本文提出的節(jié)能調(diào)度策略能夠做到對(duì)資源的高效利