MapReduce環(huán)境下周期性批處理作業(yè)調度方法.pdf

1、作業(yè)調度是影響面向大數(shù)據(jù)應用分布式計算的MapReduce框架性能的重要因素，成為近年來的研究熱點。相互獨立的周期性執(zhí)行批處理作業(yè)是MapReduce環(huán)境下的重要作業(yè)類型。本文研究MapReduce環(huán)境下周期性批處理作業(yè)調度方法，具有重要的理論意義和應用前景。
　　依據(jù)歷史信息使用離線分析技術得到周期性批處理作業(yè)的屬性;分析MapReduce周期性批處理作業(yè)的Map、Reduce等操作的特點;通過合理的假設和抽象，將所考慮問題轉化

2、成帶調度相關準備時間的泛化兩階段混合流水作業(yè)調度問題;考慮Map和Reduce任務讀取輸入數(shù)據(jù)的準備時間，以最大完工時間為優(yōu)化目標，建立該泛化兩階段混合流水作業(yè)調度問題的整數(shù)規(guī)劃模型;提出兩種面向作業(yè)的啟發(fā)式方法和一種面向任務的啟發(fā)式方法;進一步提出帶改進策略的兩種啟發(fā)式方法;分析得到所提出方法最大完工時間下界。
　　隨機生成150個實例，作業(yè)和任務的歷史信息來自實際生產集群（Yahoo! M45）。分析和評價算法的參數(shù)合理取值;