Hadoop環(huán)境下的動(dòng)態(tài)資源管理研究與實(shí)現(xiàn).pdf

1、隨著“大數(shù)據(jù)時(shí)代”的到來(lái)，越來(lái)越多的數(shù)據(jù)需要被處理、分析，這對(duì)業(yè)界的存儲(chǔ)、計(jì)算等技術(shù)提出了需求和挑戰(zhàn)。隨著Hadoop的問(wèn)世，這些技術(shù)難題得到了很好的解決方案。然而，盡管Hadoop適用的場(chǎng)景有限，但在幾年前它幾乎是人們處理大數(shù)據(jù)的唯一有效工具，這也就導(dǎo)致了Hadoop的廣泛誤用。為了解決第一代Hadoop被大量誤用的情況，同時(shí)可以為眾多計(jì)算框架提供資源調(diào)度的基礎(chǔ)平臺(tái)，Hadoop團(tuán)隊(duì)對(duì)其進(jìn)行了大規(guī)模重構(gòu)，把第一代MapReduce(M

2、Rv1)中由JobTracker中負(fù)責(zé)的資源調(diào)度分配與監(jiān)控的職責(zé)分為兩部分，其中的資源調(diào)度與分配部分形成一個(gè)平臺(tái)化的工具：YARN(MRv2)。YARN克服了MRv1中大量缺陷，以提高資源利用率為目標(biāo)進(jìn)行改造，獲得了較大成就。
　　然而，YARN仍然存在著資源未被充分利用的情況。每一個(gè)應(yīng)用程序在向YARN申請(qǐng)資源時(shí)都需要指定需要的CPU和內(nèi)存量大小，運(yùn)行的任務(wù)使用的資源不能超過(guò)申請(qǐng)的資源量，又由于管理員往往并不能明確的知道每個(gè)應(yīng)用

3、程序?qū)嶋H需要的資源量，這就導(dǎo)致應(yīng)用程序在申請(qǐng)資源時(shí)會(huì)申請(qǐng)比實(shí)際需求更多的資源，從而導(dǎo)致資源浪費(fèi)。此外，由于許多計(jì)算框架都是以應(yīng)用程序的身份運(yùn)行在YARN上，這些計(jì)算框架會(huì)長(zhǎng)期運(yùn)行一個(gè)服務(wù)進(jìn)程來(lái)接受自己的子任務(wù)提交并管理子任務(wù)，這些服務(wù)進(jìn)程對(duì)資源的需求量也是隨著計(jì)算框架的繁忙程度而變化的，而YARN在分配資源后程序所得到的資源量是固定不變的，在這種情況下，若是仍然只能為它們分配固定大小的資源量，這仍然會(huì)造成資源浪費(fèi)。
　　針對(duì)YAR

4、N在資源分配上仍然存在的不足，在大量研究了當(dāng)前研究人員對(duì)MRv1的資源調(diào)度優(yōu)化方案以及YARN本身的資源調(diào)度原理后，本文提出了動(dòng)態(tài)資源管理的解決方案——Yadoop，目標(biāo)是讓YARN的資源分配單位——容器內(nèi)的資源量可以根據(jù)容器內(nèi)進(jìn)程的實(shí)際使用情況動(dòng)態(tài)變化，既不影響容器內(nèi)任務(wù)的正常運(yùn)行，又能將容器資源量調(diào)整到一個(gè)合適的位置，減少資源浪費(fèi)，增加集群并發(fā)量，從而達(dá)到提高集群資源利用率和提高應(yīng)用程序運(yùn)行效率的目的。
　　Yadoop動(dòng)態(tài)資