面向通用計算GPU集群的任務自動分配系統(tǒng).pdf

1、面向通用計算的GPU具有超強的大規(guī)模數(shù)據(jù)并行計算能力，以及高吞吐量、高性價比等特點，而采用其作為加速設備的GPU集群則成為高性能計算領(lǐng)域的研究熱點。由于GPU的加入，GPU集群呈現(xiàn)了多層次、復雜的的異構(gòu)特征，使得應用程序開發(fā)、運行帶來了很大的難度。當前對這一體系結(jié)構(gòu)進行編程，是通過將傳統(tǒng)的節(jié)點級通信模型MPI和具體的加速器設備編程模型(如CUDA)進行簡單的松散耦合，形成的直觀、可用的GPU集群編程模型(如MPI+CUDA)。
　

2、　在MPI+CUDA編程模型中，程序員需要手工的完成任務到節(jié)點的分配，這需要了解底層的體系結(jié)構(gòu)細節(jié)信息。當集群規(guī)模較大時，采用手工的方式進行任務分配難度非常大。而且手工分配的結(jié)果和具體的底層集群體系結(jié)構(gòu)高度相關(guān)，這也影響了程序的可移植性和可擴展性。此外，該模型按照任務控制邏輯對應用進行劃分，這使之難以有效的挖掘應用中的數(shù)據(jù)并行性，并難以獲得任務間的數(shù)據(jù)流依賴關(guān)系，因而難以實施有效地細粒度任務分配策略。基于MPI+CUDA編程模型存在的上

3、述缺陷，本文引入了DISPAR數(shù)據(jù)流模型這樣一種公認的適合于描述數(shù)據(jù)密集型應用的模型，并試圖在這樣一個新的編程模型下實施自動、優(yōu)化的任務分配機制。
　　DISPAR編程模型將數(shù)據(jù)密集型應用中的計算抽象為虛擬計算單元VNODE。VNODE之間具有統(tǒng)一的、明確自定義的通信接口PIPE，因此任務之間的數(shù)據(jù)流依賴關(guān)系能夠方便的獲得。本文設計并實現(xiàn)了基于DISPAR編程模型的任務自動分配系統(tǒng)StreamMAP:(1)通過對DISPAR源程序

4、中的任務資源需求和數(shù)據(jù)流通信關(guān)系進行分析獲得整個集群應用的任務資源需求拓撲圖，完成對集群任務的抽象表達。(2)提出了由“控制節(jié)點發(fā)出詢問、各節(jié)點響應”這樣一個獲取集群當前資源分布信息（當前節(jié)點資源表）的方案，這樣只需依賴一個普通的MPI程序就可動態(tài)獲取集群的資源分布信息，不涉及任何操作系統(tǒng)層面的改造。通過這種較為簡單的方式獲得底層集群系統(tǒng)的資源模型。(3)在此基礎上，提出并實現(xiàn)了一種兼顧高并行度、負載均衡、減少任務見通信代價等多個優(yōu)化目