基于Hadoop系統(tǒng)的自學(xué)習(xí)資源調(diào)度器模型研究.pdf

1、隨著信息大爆炸時(shí)代的來臨，云計(jì)算和大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生。Hadoop是一個(gè)支持分布式集群使用簡單的MapReduce編程模型處理大規(guī)模數(shù)據(jù)集的框架。當(dāng)集群規(guī)模不斷增長時(shí)，如何提高集群的資源利用率、縮短任務(wù)的響應(yīng)時(shí)間，優(yōu)化Hadoop的資源調(diào)度器，提高集群的效率，已成為當(dāng)前云計(jì)算領(lǐng)域的研究熱點(diǎn)。
　　本文結(jié)合國內(nèi)外的研究現(xiàn)狀，在比較了Hadoop系統(tǒng)常見的幾種資源調(diào)度器的基礎(chǔ)上，改進(jìn)了一種基于作業(yè)分類的自學(xué)習(xí)資源調(diào)度器模型，以期提高異

2、構(gòu)Hadoop集群的資源利用率，同時(shí)縮短作業(yè)的執(zhí)行時(shí)間。本文主要完成了以下研究內(nèi)容：
　　第一，介紹了Hadoop系統(tǒng)的發(fā)展史和國內(nèi)外有關(guān)Hadoop資源調(diào)度器的研究現(xiàn)狀。第二，闡釋了Hadoop系統(tǒng)的兩大核心——分布式文件系統(tǒng)HDFS和并行編程模型MapReduce的原理。第三，詳細(xì)分析了當(dāng)前Hadoop系統(tǒng)的三種資源調(diào)度器：FIFO、Capacity Scheduler和Fair Scheduler，解釋了它們的實(shí)現(xiàn)原理，分析

3、了各自的優(yōu)缺點(diǎn)和適用場景。第四，對Hadoop系統(tǒng)進(jìn)行建模，每一個(gè)節(jié)點(diǎn)的資源可以抽象為虛擬核和內(nèi)存，虛擬核有一個(gè)執(zhí)行速率的屬性，內(nèi)存有兩個(gè)屬性，分別是大小和數(shù)據(jù)到達(dá)速率。系統(tǒng)有三個(gè)性能評價(jià)指標(biāo)：本地特性、作業(yè)平均完成時(shí)間、公平性。第五，改進(jìn)自學(xué)習(xí)資源調(diào)度器模型，并用實(shí)驗(yàn)驗(yàn)證。首先構(gòu)建作業(yè)分類器，每類作業(yè)都有一個(gè)隊(duì)列與之對應(yīng)。當(dāng)作業(yè)到來時(shí)，把作業(yè)加入相應(yīng)類別的隊(duì)列。自學(xué)習(xí)資源調(diào)度器在后臺(tái)維護(hù)一個(gè)各類作業(yè)資源需求量的配額表，調(diào)度器根據(jù)歷史統(tǒng)