基于Hadoop的調(diào)度算法研究與實(shí)現(xiàn).pdf

1、云計(jì)算作為一種新的信息技術(shù)，為海量數(shù)據(jù)的分析和處理帶來(lái)了全新的視野。它是一種商業(yè)計(jì)算模型，將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使用戶(hù)能夠按需獲取計(jì)算能力、存儲(chǔ)空間和信息服務(wù)，具有大存儲(chǔ)、高可靠性、易于擴(kuò)展等特點(diǎn)。Hadoop是用于數(shù)據(jù)分析與處理的開(kāi)源云平臺(tái)，對(duì)大量作業(yè)進(jìn)行調(diào)度和處理。調(diào)度主要是對(duì)資源進(jìn)行合理分配和對(duì)作業(yè)的運(yùn)行順序進(jìn)行控制。Hadoop運(yùn)行在大量機(jī)器組成的集群中，對(duì)成千上萬(wàn)的任務(wù)進(jìn)行管理和調(diào)度，合適的調(diào)度算法對(duì)作業(yè)響

2、應(yīng)時(shí)間和交互能力都有重要影響。
　　MapReduce是Hadoop中用于處理超大規(guī)模數(shù)據(jù)集的編程模型，分為Map和Reduce兩階段。動(dòng)態(tài)資源分配中需要預(yù)估MapReduce運(yùn)行過(guò)程中Map和Reduce的執(zhí)行時(shí)間，而當(dāng)前調(diào)度算法的研究中對(duì)此關(guān)注較少，本文提出一種改進(jìn)的預(yù)估執(zhí)行時(shí)間的方法。Map階段，根據(jù)歷史執(zhí)行信息采用均值法作為預(yù)估方法;Reduce階段采用基于采樣和反饋相結(jié)合的預(yù)估方法。本算法能更準(zhǔn)確地預(yù)估任務(wù)的執(zhí)行時(shí)間并為

3、動(dòng)態(tài)分配資源提供有效時(shí)間預(yù)估方法。
　　鑒于Hadoop內(nèi)置的調(diào)度算法不能滿(mǎn)足有效區(qū)分CPU密集型和I/O密集型兩種類(lèi)型的作業(yè)并且作業(yè)需要在特定的時(shí)間之前完成的需求。本文提出一種區(qū)分作業(yè)類(lèi)型的基于截止時(shí)間的調(diào)度算法(Type Specific and Deadline Based Algorithm in Hadoop，TSD)。本算法包含兩部分:將用戶(hù)提交的作業(yè)分為CPU密集型作業(yè)和I/O密集型作業(yè)的預(yù)測(cè)機(jī)制;根據(jù)用戶(hù)設(shè)置的最后