異構(gòu)計算環(huán)境下MapReduce工作流調(diào)度優(yōu)化算法研究.pdf

1、在當(dāng)今信息爆炸式增長背景下，云計算技術(shù)憑借其高性能的計算能力和海量的數(shù)據(jù)存儲能力，得到了各界的廣泛關(guān)注及應(yīng)用。然而，隨著在云計算環(huán)境中開發(fā)功能越來越多的強大應(yīng)用/軟件，其所對應(yīng)的邏輯關(guān)系也越來越復(fù)雜，還可能受時間、代價、資源、優(yōu)先級限制等因素的限制，一般的信息系統(tǒng)卻難控制這樣復(fù)雜的應(yīng)用。
　　 為了解決這個難題，在云環(huán)境上部署工作流成為了新的研究熱點，這樣既能充分利用云計算的資源，又能通過工作流來方便靈活地構(gòu)建、管理、執(zhí)行及監(jiān)控

2、整個應(yīng)用流程。
　　 在現(xiàn)有的服務(wù)編制型云工作流中，由于所有數(shù)據(jù)都得經(jīng)過中央引擎來傳輸，所以在處理大數(shù)據(jù)時難以避免會出現(xiàn)帶寬瓶頸問題。本文通過分析云工作流框架，針對服務(wù)編制型的工作流框架進行了優(yōu)化。在工作流框架中加入了中間代理層的結(jié)構(gòu)，并對工作流引擎進行了改善，通過代理來管理節(jié)點，代理與工作流引擎之間傳輸?shù)氖强刂屏餍畔ⅲ讓庸?jié)點之間則可以直接進行點對點數(shù)據(jù)傳輸，大大減少了瓶頸現(xiàn)象的發(fā)生。并且，改善的工作流引擎能根據(jù)任務(wù)的不同類

3、別（類別著色）將任務(wù)分配到合適的云底層平臺（如:Hadoop）或云基礎(chǔ)處理節(jié)點來進行處理。由于MapRduce是云計算面向大數(shù)據(jù)處理的典型并行可擴展性編程模型，先選擇從MapReduce工作流著手研究，提出了云環(huán)境下的MapReduce工作流調(diào)度模型。
　　 現(xiàn)有的由MapReduce類型任務(wù)組成的工作流，一般是將workflow任務(wù)的優(yōu)先級調(diào)度與底層MapReduce調(diào)度分離開來的，這樣在調(diào)度的過程中會產(chǎn)生很多的時間碎片，使得