面向應(yīng)用的加速器增強(qiáng)型異構(gòu)系統(tǒng)大規(guī)模并行計算關(guān)鍵技術(shù)研究.pdf

1、大規(guī)?？茖W(xué)與工程計算已經(jīng)成為當(dāng)前科學(xué)研究不可或缺的重要手段，極大地推動了科技的發(fā)展和人類的進(jìn)步。當(dāng)前超級計算機(jī)已經(jīng)進(jìn)入千萬億次（Peta-scale）浮點(diǎn)計算能力的時代，但諸如高能核物理、材料化學(xué)、生命科學(xué)等一系列挑戰(zhàn)性計算應(yīng)用表現(xiàn)出對百億億次級（Exascale）計算能力的超高需求。由于GPU、MIC等加速器的性能功耗比優(yōu)勢，基于加速器搭建異構(gòu)超級計算機(jī)已經(jīng)成為高性能計算領(lǐng)域從P級到E級發(fā)展的重要趨勢，如基于NVIDIA GPU加速器

2、的天河-1A，和基于Intel新型MIC加速器的天河-2。領(lǐng)域應(yīng)用軟件是發(fā)揮E級計算系統(tǒng)能力的保障。然而，異構(gòu)體系結(jié)構(gòu)在緩解通信墻、可靠性墻和能耗墻的同時，加劇了編程墻。因此，如何快速地開發(fā)大規(guī)模并行應(yīng)用程序，高效率地發(fā)揮當(dāng)前高性能異構(gòu)系統(tǒng)的性能，已經(jīng)成為當(dāng)前異構(gòu)并行計算研究面臨的一個挑戰(zhàn)性問題。我國自主研發(fā)高性能超級計算機(jī)系統(tǒng)的能力已達(dá)到國際頂尖水平，然而與其不相匹配的是，我國的高性能計算應(yīng)用軟件開發(fā)的水平還遠(yuǎn)遠(yuǎn)落后于國際先進(jìn)水平。<

3、br>　　本研究主要內(nèi)容包括：⑴當(dāng)前貝葉斯分析進(jìn)化樹應(yīng)用軟件都不能同時完全利用異構(gòu)超級計算機(jī)中的CPU和GPU，造成了極大的計算資源浪費(fèi)。面向CPU-GPU異構(gòu)陣列，提出了對貝葉斯進(jìn)化分析的一種新穎混合并行算法oMC3，使用MPI+OpenMP+CUDA的混合并行編程模型，提出一個簡單高效的負(fù)載劃分策略，能夠同時高效地利用異構(gòu)系統(tǒng)中的CPU多核和GPU來協(xié)同計算?；谔旌?1A的實(shí)驗(yàn)測試展示了oMC3對性能的改進(jìn)和良好的擴(kuò)展性，驗(yàn)證了負(fù)

4、載劃分策略。這是首次貝葉斯分析進(jìn)化樹應(yīng)用擴(kuò)展到數(shù)千CPU核和數(shù)百GPU并實(shí)現(xiàn)了高效的CPU-GPU同時計算。工作同時也具有通用價值，因?yàn)樗懻摿嘶旌暇幊碳夹g(shù)，可以指導(dǎo)異構(gòu)系統(tǒng)上其他應(yīng)用的混合并行編程以及異構(gòu)協(xié)同計算。⑵當(dāng)前缺乏基于大規(guī)模GPU陣列的組織級心電模擬設(shè)計實(shí)現(xiàn)和性能研究，基于GPU異構(gòu)系統(tǒng)，提出了心電模擬中多種細(xì)胞模型和數(shù)值解法的大規(guī)模并行設(shè)計和實(shí)現(xiàn)方案，并完成了大規(guī)模性能量化分析和建模。心電模擬的多節(jié)點(diǎn)映射方案整體上通過數(shù)據(jù)

5、網(wǎng)格的層次化域分解來并行計算任務(wù)。上層用MPI多進(jìn)程開發(fā)節(jié)點(diǎn)間并行性，下層用CUDA多線程開發(fā)GPU眾核并行性。數(shù)值求解的GPU kernel實(shí)現(xiàn)考慮了GPU眾核并行度的線程粒度設(shè)計，以及局域性的GPU層次存儲訪問設(shè)計。實(shí)驗(yàn)在天河-1A上使用多達(dá)128個GPU，測試并詳細(xì)量化分析了三種不同的模型和解法搭配的實(shí)現(xiàn)性能。本文研究首次給出了一個在超過100GPU的大規(guī)模GPU陣列上完成的心電模擬的性能真實(shí)預(yù)期。⑶由于巨大的計算需求，當(dāng)前缺乏納

6、米精度的心臟亞細(xì)胞級鈣動力學(xué)數(shù)值模擬?；谛滦虲PU-MIC異構(gòu)系統(tǒng)，提出了接近納米精度的亞細(xì)胞級鈣動力學(xué)數(shù)值模擬的一種并行設(shè)計與實(shí)現(xiàn)方案，并在天河-2上獲得了真實(shí)的模擬結(jié)果。聯(lián)合使用向量化，層次化cache數(shù)據(jù)分塊，寄存器重用等優(yōu)化手段來克服編程新型MIC體系結(jié)構(gòu)的挑戰(zhàn)。并行設(shè)計有效開發(fā)了單MIC、單節(jié)點(diǎn)、多節(jié)點(diǎn)的層次化并行。在天河-2上的實(shí)驗(yàn)使用多達(dá)4096個計算節(jié)點(diǎn)（12288個MIC協(xié)處理器）獲得了1.27 Pflop/s的雙精

7、度性能，同時展現(xiàn)了良好的強(qiáng)/弱擴(kuò)展性。實(shí)際獲得并分析了一個心肌纖維節(jié)在3nm精度長達(dá)24ms的模擬結(jié)果，使得納米級精度的模擬更加接近為生物醫(yī)學(xué)領(lǐng)域提供了研究依據(jù)。在3nm精度上提出了亞細(xì)胞鈣波動產(chǎn)生和傳播模型并獲得和分析了模擬結(jié)果。⑷針對在異構(gòu)陣列中節(jié)點(diǎn)內(nèi)多MIC和host的高效協(xié)同計算問題，提出了一種基于節(jié)點(diǎn)內(nèi)多MIC異構(gòu)陣列，面向Stencil結(jié)構(gòu)化網(wǎng)格計算類應(yīng)用的并行編程框架MOCS。其包括一個混合并行編程模型的框架抽象、負(fù)載劃分

8、及流水線式通信優(yōu)化策略、以及具體的編程實(shí)現(xiàn)步驟。其基于Intel MIC軟件棧中的兩種底層API：COI+SCIF，混合使用MPI+OpenMP+COI+SCIF編程，并通過合理負(fù)載劃分，節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間通信優(yōu)化，實(shí)現(xiàn)混合多層次并行計算。實(shí)驗(yàn)以一個真實(shí)3維7點(diǎn)stencil計算網(wǎng)格應(yīng)用作為例子，按照此框架實(shí)現(xiàn)并在天河-2上進(jìn)行了測試。結(jié)果表明，MOCS能較好地解決節(jié)點(diǎn)內(nèi)多MIC陣列的多層次并行，通信隱藏以及CPU-MIC協(xié)同計算問題。給出