基于Hadoop的調(diào)度算法研究與實現(xiàn).pdf

1、云計算作為一種新的信息技術，為海量數(shù)據(jù)的分析和處理帶來了全新的視野。它是一種商業(yè)計算模型，將計算任務分布在大量計算機構成的資源池上，使用戶能夠按需獲取計算能力、存儲空間和信息服務，具有大存儲、高可靠性、易于擴展等特點。Hadoop是用于數(shù)據(jù)分析與處理的開源云平臺，對大量作業(yè)進行調(diào)度和處理。調(diào)度主要是對資源進行合理分配和對作業(yè)的運行順序進行控制。Hadoop運行在大量機器組成的集群中，對成千上萬的任務進行管理和調(diào)度，合適的調(diào)度算法對作業(yè)響

2、應時間和交互能力都有重要影響。
　　MapReduce是Hadoop中用于處理超大規(guī)模數(shù)據(jù)集的編程模型，分為Map和Reduce兩階段。動態(tài)資源分配中需要預估MapReduce運行過程中Map和Reduce的執(zhí)行時間，而當前調(diào)度算法的研究中對此關注較少，本文提出一種改進的預估執(zhí)行時間的方法。Map階段，根據(jù)歷史執(zhí)行信息采用均值法作為預估方法;Reduce階段采用基于采樣和反饋相結合的預估方法。本算法能更準確地預估任務的執(zhí)行時間并為

3、動態(tài)分配資源提供有效時間預估方法。
　　鑒于Hadoop內(nèi)置的調(diào)度算法不能滿足有效區(qū)分CPU密集型和I/O密集型兩種類型的作業(yè)并且作業(yè)需要在特定的時間之前完成的需求。本文提出一種區(qū)分作業(yè)類型的基于截止時間的調(diào)度算法(Type Specific and Deadline Based Algorithm in Hadoop，TSD)。本算法包含兩部分:將用戶提交的作業(yè)分為CPU密集型作業(yè)和I/O密集型作業(yè)的預測機制;根據(jù)用戶設置的最后