多核計算系統(tǒng)中任務的調(diào)度和數(shù)據(jù)分配方法與技術(shù).pdf

1、隨著科學研究規(guī)模的不斷擴大以及云計算與大數(shù)據(jù)技術(shù)的出現(xiàn)，高性能計算已經(jīng)從計算密集型向數(shù)據(jù)密集型轉(zhuǎn)變。龐大的數(shù)據(jù)對高性能計算提出了更大的挑戰(zhàn)，研究人員需要采集與處理海量的數(shù)據(jù)用于研究與解決復雜的科學計算問題。同時，由于“綠色計算”已經(jīng)成為一種趨勢，如何減少各種計算系統(tǒng)在執(zhí)行應用時所消耗的資源、能量和預算等成本問題已經(jīng)成為當前工業(yè)界和學術(shù)界共同關(guān)注和研究的熱點。在高性能計算中，任務的調(diào)度和數(shù)據(jù)分配是達到高性能與節(jié)能減排的一個關(guān)鍵研究點。任務

2、的調(diào)度和數(shù)據(jù)分配是相互關(guān)聯(lián)的，任務調(diào)度會影響其所需數(shù)據(jù)的放置位置，數(shù)據(jù)分配會影響其所支持任務的調(diào)度節(jié)點的位置，不合理的數(shù)據(jù)放置與任務調(diào)度方案容易導致存儲訪問時間過長，降低任務的吞吐率，影響系統(tǒng)的工作效率。此外，不合理的數(shù)據(jù)分配與任務放置還會影響系統(tǒng)的能耗及可靠性。因此，對任務的調(diào)度和數(shù)據(jù)分配作為一個不可分割的整體進行研究具有重要的理論價值和實際意義。本文著重于多核環(huán)境下的任務的調(diào)度和數(shù)據(jù)分配關(guān)鍵技術(shù)的研究，通過合理的任務調(diào)度和數(shù)據(jù)分配使

3、系統(tǒng)總能耗最小化、并行任務總體執(zhí)行時間縮短、滿足應用需求，并能隱藏存儲延遲。
　　本文首先研究了多核計算上的嵌套循環(huán)應用的調(diào)度問題。大多數(shù)科學應用與信號處理應用都是循環(huán)迭代的，當把這些用于放在多核處理器執(zhí)行時會面臨兩方面的挑戰(zhàn)。一方面，大多數(shù)應用都是計算敏感型和數(shù)據(jù)敏感型的應用，一個效率低下的調(diào)度有可能產(chǎn)生大量的寫操作，從而消耗大量時間和能耗;另一方面，由于CPU的執(zhí)行速度在快速上升，緩慢的存儲訪問速度降低了系統(tǒng)的整體性能。針對上

4、述問題，本文建立了基于多維循環(huán)數(shù)據(jù)流圖(MDFG)任務調(diào)度模型，使用高速暫存存儲器(SPM)來代替緩存，提出了兩層分塊調(diào)度技術(shù)。這種多層分塊技術(shù)基于預取技術(shù)，通過把嵌套循環(huán)進行多層分塊，從而以塊為單位進行調(diào)度來減少寫操作，并且通過重疊處理器計算與存儲訪問操作的時間來提高處理器計算的吞吐率和系統(tǒng)的整體性能。模擬實驗結(jié)果表明，兩層分塊調(diào)度技術(shù)與IRP技術(shù)相比，可以減少45.35％的寫操作以及調(diào)度時間可以縮短23.7％。
　　其次，針對

5、分布式共享存儲計算系統(tǒng)的計算異構(gòu)、通信異構(gòu)和存儲異構(gòu)等特點，本文致力于解決異構(gòu)數(shù)據(jù)分配與任務調(diào)度（HDATS）的能耗問題，使數(shù)據(jù)依賴的實時應用在異構(gòu)分布式共享多核系統(tǒng)中執(zhí)行時，給每個任務分配一個合適的處理器，把每個數(shù)據(jù)放置到合適的存儲器上，并產(chǎn)生一個高效的調(diào)度，使之在滿足時間約束的條件下最小化能量消耗。針對HDATS的能耗問題，建立了整數(shù)線性規(guī)劃(ILP)模型來尋求最佳解。然而，整數(shù)線性規(guī)劃模型的復雜度隨著應用規(guī)模的增大而呈指數(shù)級增長，

6、當應用規(guī)模較大時，整數(shù)規(guī)劃不能在可接受的時間內(nèi)得到最佳解。因此，我們提出了TAC-DA與TRGS兩種啟發(fā)式算法來解決該問題。模擬實驗結(jié)果表明，TAC-DA與TRGS算法能夠有效的找到一個近似解，且性能優(yōu)于greedy算法。
　　再次，本文致力于解決混合存儲多核系統(tǒng)上的數(shù)據(jù)分配與任務調(diào)度問題。當數(shù)據(jù)依賴應用運行在SRAM+NVM混合本地存儲的多核計算機時，需要解決下列問題:改善系統(tǒng)能耗、減少NVM的寫操作（改善NVM的壽命）以及縮短

7、應用調(diào)度時間。為了解決這些問題，本文首先為單核系統(tǒng)提出一種寫感知的數(shù)據(jù)分配算法，然后結(jié)合數(shù)據(jù)分配與任務調(diào)度提出EADA與BDAEW兩種算法來解決CMP的數(shù)據(jù)分配與任務調(diào)度問題，在保證系統(tǒng)性能滿足資源限制的前提下最小化能量消耗。模擬實驗結(jié)果表明，本文所提出的算法具有優(yōu)良的性能優(yōu)勢，且優(yōu)于greedy算法。
　　最后，探討了內(nèi)存計算平臺中混合內(nèi)存的高效數(shù)據(jù)管理方案。針對Flash與PCM具有不同的特征，本文提出一種寫意識的數(shù)據(jù)分配方案