異構(gòu)GPU集群的并行編程模型及實現(xiàn).pdf

1、由于超強的計算能力，支持大規(guī)模數(shù)據(jù)級并行程序設(shè)計以及高速的訪存帶寬等特點，GPU集群已經(jīng)成為現(xiàn)代高性能計算的主流技術(shù)和研究熱點。但GPU給集群帶來了復雜的體系結(jié)構(gòu)特征，不僅在節(jié)點層面呈現(xiàn)異構(gòu)化，節(jié)點內(nèi)也呈現(xiàn)異構(gòu)化，使得集群的并行計算能力成為多層面、不同類型的特點，包括節(jié)點之間，節(jié)點內(nèi)部CPU和GPU之間，GPU內(nèi)的數(shù)據(jù)并行，極大地增加了編程和運行部署的復雜性。
　　目前沒有現(xiàn)成的編程模型完全應對這種體系結(jié)構(gòu)，主流的異構(gòu)GPU集群系

2、統(tǒng)大多采用針對GPU的異構(gòu)計算編程模型與面向分布式內(nèi)存的消息傳遞模型(MPI)松散的耦合方式，用戶將應用描述成一系列彼此交互的MPI進程，并部署到各個節(jié)點中運行，如果MPI進程是一個串行程序，則在節(jié)點中的CPU中運行，如果MPI進程包含數(shù)據(jù)并行處理過程，則在包含GPU的節(jié)點中運行，但是這種方式將應用如何劃分、劃分多少并行進程缺乏依據(jù)，難以保證分配給含GPU的節(jié)點的子任務是一個能發(fā)揮GPU計算能力的數(shù)據(jù)并行計算過程。同時，MPI+CUDA

3、本身并不是一個有著充分理論依據(jù)的計算模型，不具備可分析性。同串行執(zhí)行不同，并行、分布式執(zhí)行是一種不確定執(zhí)行，如何在各種情況下保證程序行為正確特別是不出現(xiàn)諸如死鎖、活鎖等現(xiàn)象需要編程模型具備可分析性，而這些是MPI+CUDA無法提供的。另外，在充分利用GPU集群多個層面的并行計算能力方面，由于實現(xiàn)異步控制的復雜性，MPI+CUDA的進程之間一般通過發(fā)消息實現(xiàn)同步控制，這可能造成大量等待，嚴重影響性能;而異步控制需要程序員人工實現(xiàn)進程間數(shù)據(jù)

4、緩沖及復雜的上下文傳遞，使得編程非常困難。
　　為了解決上述問題，我們基于DFG設(shè)計和實現(xiàn)一種能契合GPU異構(gòu)集群體系結(jié)構(gòu)的新型編程框架DISPAR。DISPAR編程框架的基本思想是基于數(shù)據(jù)流模型描述應用，引導用戶以數(shù)據(jù)流為核心將應用分解成一系列以異步方式工作的VNODE，構(gòu)成數(shù)據(jù)并行子任務（進程），發(fā)揮GPU的并行計算能力。DFG是一種主流的應用于描述數(shù)據(jù)密集型應用的模型，具有層次化描述能力，因此適合描述復雜的應用，相比其它計算

5、模型，DFG能以最自然的方式顯式表達應用中的并行性，并且以數(shù)據(jù)為核心描述應用，是目前公認的最能夠體現(xiàn)應用中數(shù)據(jù)并行性的計算模型。另外，VNODE的數(shù)據(jù)驅(qū)動控制方式能最大程度實現(xiàn)異步并發(fā)運行，減少因同步操作對性能的影響，各個節(jié)點異步運行，摒棄全局控制和最小化同步需求。DISPAR編程框架取代了MPI編程模型中的隨意、盲目的顯式進程劃分，自動生成的MPI+CUDA進程與運行平臺之間的相關(guān)性小，帶來可移植性、可擴展性等優(yōu)勢。
　　本文通

6、過采用擴展語言方法實現(xiàn)DISPAR編程模型，通過簡單的兩個構(gòu)件VNODE和PIPE來描述應用程序的系統(tǒng)級結(jié)構(gòu)，成為C語言的一個擴充。DISPAR編程模型異步化子任務運行，對基本操作進行標準化封裝，實現(xiàn)異步控制，使得編程非常容易，實現(xiàn)異步控制的上下文、緩沖等有效封裝，使得編程容易，應用程序簡潔。
　　為實現(xiàn)這種新型語言，規(guī)避了重新設(shè)計編譯器的復雜性，論文提出了一種源程序至源程序轉(zhuǎn)換方式，即StreamCC預處理器，能有效地將一個DI