gpu異構編程研究綜述

1、GPU 異構編程研究綜述摘 要近年來，異構系統(tǒng)硬件飛速發(fā)展。為了解決相應的編程和執(zhí)行效率問題，GPU 異構并行編程已被廣泛使用和研究。本文從異構并行編程接口與編譯/運行時支持系統(tǒng)的角度總結了異構并行編程模型最新的研究進展，簡單介紹現(xiàn)在為異構架構和上層應用帶來的技術挑戰(zhàn)提供的相應的解決方案。最后結合目前的研究現(xiàn)狀以及異構系統(tǒng)的發(fā)展，提出了對異構并行編程的未來發(fā)展方向的看法。關鍵詞：異構系統(tǒng)，編程，上層應用， 關鍵詞：異構系統(tǒng)，編程，

2、上層應用，GPU GPU一 、 緒論 緒論（一）前沿發(fā)展介紹 ）前沿發(fā)展介紹近年來，處理器從單核轉變到多核，芯片的并行計算能力得到增強，性能顯著提高[1]。然而由于結構復雜，傳統(tǒng)處理器遭遇了嚴重的功耗瓶頸，無法通過增加核數(shù)繼續(xù)帶來性能提升。在這樣的背景下，出現(xiàn)了 CPU 與一個或多個加速設備在片上或主板上相互連接組成的異構系統(tǒng)，以進一步增強計算能力：CPU 作為控制設備，負責復雜的控制、調度等工作；而加速設備則負責大規(guī)模的并行計算或專業(yè)

3、領域的計算任務。加速設備通常在指令集、微結構、功能或計算能力等方面與 CPU 有很大區(qū)別，GPU 是目前最為常見的加速設備之一。GPU 在片上集成了幾十甚至上百個每指令耗能(energy per instruction 簡稱 EPI)較低的簡單核，它不包含分支預測、亂序執(zhí)行等耗費資源的模塊，借助高度的并行性隱藏單個任務的延遲，達到遠高于 CPU 的計算吞吐量。除 GPU 外，可重構硬件如(FPGA)也常作為加速設備。目前，異構系統(tǒng)已十分

4、普遍，遍布于服務器、個人電腦、嵌入式終端中，異構系統(tǒng)通過高速互聯(lián)相互連接可構成異構集群，而異構集群通過互聯(lián)網(wǎng)絡連接在一起可構成大規(guī)模的云服務環(huán)。在 2013 聯(lián)架構兩方面都更加復雜化和多樣化，這使得異構并行編程模型在建立平臺抽象方面遇到了巨大的困難，在任務劃分、任務映射、數(shù)據(jù)分布、同步、通信等方面都面臨著新的技術挑戰(zhàn)。任務劃分與任務映射面臨的新問題：異構系統(tǒng)中設備之間并行計算能力不同。同構系統(tǒng)中的計算設備為完全相同的多核 CPU，盡管同

5、一 CPU 不同核之間、同一核內的 SIMD 部件等可承擔粒度不同的并行計算任務，但是不同設備具有相同的微結構，其并行計算能力是完全相同的。而在異構系統(tǒng)中，不同設備(如 CPU GPU，F(xiàn)PGA)的微結構具有本質差異，其并行計算模式與并行計算能力完全不同，設備的特長也完全不同，這種設備間并行計算能力的差異，使得任務映射與任務劃分不再是均一的，而是具有顯著特異性的，這也更利于表達實際應用的特點。數(shù)據(jù)分布與通信面臨的新問題：異構系統(tǒng)中加

6、速設備內數(shù)據(jù)分布可配置、設備間數(shù)據(jù)通信渠道多樣。從編程模型的角度看，同構系統(tǒng)中，CPU 片內存儲是軟件透明的 cache 結構，片外存儲則遵從共享內存模型，除訪問延遲可能不同(例如 NUMA 架構)之外，不存在其他的差異性。因此在同構系統(tǒng)中，數(shù)據(jù)僅可分配在片外內存中，具有存儲位置單一的特點，也不需要進行顯式通信。但在異構系統(tǒng)中，加速設備片內通常包含軟件可分配的快速局部存儲(如 SPM)；而設備間的連接方式則差異很大，目前，CPU 與一

7、個或多個加速設備多數(shù)通過PCIe 連接，也有將它們集成在一個芯片內的嘗試，例如 AMD 提出的HSA(heterogeneous system architecture)，這使得加速設備可能無法采用與 CPU 相同的方式完成地址映射，導致它們的虛存空間分立，存在某一設備無法訪問另一設備片外存儲的問題。因此在異構系統(tǒng)中，數(shù)據(jù)可以被分配在 CPU 和加速設備片外內存、加速設備片內多層次局部存儲等多個位置，數(shù)據(jù)分布問題變得十分復雜；設備間的