面向異構(gòu)多核系統(tǒng)的并行計算模型和調(diào)度算法研究.pdf

1、隨著異構(gòu)多核并行編程的難度不斷增大，人們迫切希望并行編程模型可以處理并能生成超大規(guī)模(TB級)數(shù)據(jù)集，以減少并行編程難度，提高異構(gòu)多核系統(tǒng)開發(fā)速度。
　　MapReduce是近些年新興的并行編程模型，該模型主要用于實現(xiàn)并行計算中子任務(wù)劃分、資源的調(diào)度、計算結(jié)構(gòu)歸約等，其為異構(gòu)并行系統(tǒng)的大規(guī)模數(shù)據(jù)處理提供一個簡單、有效的解決方案。然而傳統(tǒng)的MapReduce調(diào)度算法存在任務(wù)響應(yīng)時間過長，系統(tǒng)吞吐量大幅度下降的情況，從而影響整個系統(tǒng)的

2、效率的提高。本文在對MapRedace并行編程模型深入研究的基礎(chǔ)上，提出了一種適應(yīng)于Hadoop平臺的異構(gòu)多核的MapReduce調(diào)度改進算法。主要工作如下：
　　(1)針對MapReduce模型的調(diào)度問題，研究了影響MapReduce調(diào)度性能的三個主要因素：本地化、同步開銷及公平性約束，并對處理這三個因素的調(diào)度方法進行分析。對MapReduce模型中同步開銷問題的兩種解決方法：異步處理和推測執(zhí)行進行了探究。對于公平性約束，討論了

3、Hadoop的本地提升和延遲調(diào)度，以及Dryad的Quincy調(diào)度器。
　　(2)結(jié)合異構(gòu)多核環(huán)境的特性，針對基于典型MapReduce調(diào)度算法—LATE算法的不足，提出了一種MapReduce異構(gòu)多核調(diào)度的改進算法，該算法通過在系統(tǒng)上添加使系統(tǒng)獲得自動學(xué)習(xí)的能力——機器學(xué)習(xí)中的監(jiān)管學(xué)習(xí)，隨機提取部分工作任務(wù)作為測試任務(wù)，以獲得處理節(jié)點的處理信息，進而得到任務(wù)處理的各個階段的實際時間比，并調(diào)整程序的運行方式，從而啟動備份任務(wù)，以提