Mesos平臺(tái)下多資源調(diào)度算法的研究與改進(jìn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和大數(shù)據(jù)處理的迫切需要，國內(nèi)外越來越多的IT企業(yè)研發(fā)出各種基于數(shù)據(jù)密集型應(yīng)用的計(jì)算框架。企業(yè)通常希望將多種計(jì)算框架部署到同一個(gè)集群環(huán)境中，共享集群內(nèi)的資源和數(shù)據(jù)，并對(duì)集群資源進(jìn)行統(tǒng)一的管理和調(diào)度。
　　Apache Mesos正是這樣的一個(gè)集群資源管理與調(diào)度系統(tǒng)。它提供了可伸縮的兩級(jí)資源調(diào)度機(jī)制，使 Mesos非常容易進(jìn)行擴(kuò)展。根據(jù)Mesos提供的編程接口，很容易就能實(shí)現(xiàn)將不同語言編寫的各種應(yīng)用遷移到 Meso

2、s平臺(tái)之上，從而充分利用Mesos帶來的資源高利用率。
　　DRF是Mesos默認(rèn)的資源分配算法，能在多類型資源的集群環(huán)境中進(jìn)行資源公平分配，但DRF算法沒有考慮因計(jì)算機(jī)性能的差異而導(dǎo)致的資源分配不公平性的問題。本文在研究DRF多資源公平分配算法的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了增加機(jī)器性能評(píng)估影響因子的meDRF分配算法。將計(jì)算結(jié)點(diǎn)的機(jī)器性能得分，作為DRF主導(dǎo)份額計(jì)算的因子，使得計(jì)算任務(wù)有均等的機(jī)會(huì)獲得優(yōu)質(zhì)計(jì)算資源和低質(zhì)量計(jì)算資源。具體工

3、作如下：
　　首先闡述了 Mesos產(chǎn)生的背景以及意義，并詳細(xì)分析了 Mesos平臺(tái)的系統(tǒng)架構(gòu)、資源分配、資源隔離、容錯(cuò)機(jī)制以及它的生態(tài)環(huán)境。
　　接著描述了DRF多資源公平分配算法的產(chǎn)生背景，以及DRF算法兩個(gè)重要的概念：主導(dǎo)資源和主導(dǎo)份額。并重點(diǎn)分析了DRF算法的核心思想以及算法的實(shí)現(xiàn)步驟，以及通過源代碼分析了DRF算法的具體實(shí)現(xiàn)過程。
　　最后分析了DRF分配算法在異構(gòu)集群環(huán)境下，沒有考慮因計(jì)算機(jī)性能的差異而導(dǎo)致