混合并行計(jì)算環(huán)境多級并行化編程模式的研究.pdf

1、人類對計(jì)算能力無休止的需求，以及并行計(jì)算領(lǐng)域兩次重要的技術(shù)變革，使并行計(jì)算技術(shù)越來越受到人們的重視，尤其是通過各種互聯(lián)技術(shù)連接在一起的分布式集群并行處理體系結(jié)構(gòu)已經(jīng)成為當(dāng)今并行計(jì)算的主流。其中，一種特殊的結(jié)構(gòu)是CMP-CLUSTER，即集群系統(tǒng)中單個(gè)計(jì)算節(jié)點(diǎn)是基于多個(gè)CMP芯片的共享存儲(chǔ)多處理器并行系統(tǒng)，由于涉及到分布式存儲(chǔ)和共享存儲(chǔ)兩種并行體系結(jié)構(gòu)，我們稱之為混合并行計(jì)算系統(tǒng)。并行編程難一直是阻礙并行計(jì)算廣泛普及的主要原因，尤其是在C

2、MP-CLUSTER這樣的混合并行計(jì)算環(huán)境中存在多級并行化問題，即節(jié)點(diǎn)間并行、處理器芯片間并行、處理器芯片內(nèi)多個(gè)核心并行，涉及到消息傳遞和共享變量兩種并行編程模型，其編程難度更大。因此，如何為該混合并行計(jì)算環(huán)境提供特定的并行程序設(shè)計(jì)方法、編程模型、環(huán)境和工具來簡化并行編程，是并行計(jì)算領(lǐng)域研究的熱點(diǎn)和難點(diǎn)。本文正是在這種背景下展開了工作，所做的主要工作包括：
　　 系統(tǒng)地建立了CMP-CLUSTER混合并行計(jì)算環(huán)境概念模型下的通信

3、層次模型和存儲(chǔ)層次模型，指出通信層次模型中每個(gè)層次的操作開銷和影響，結(jié)合CMP系統(tǒng)共享高速緩存的存儲(chǔ)特征，研究提出了在通信層面和存儲(chǔ)器訪問層面并行編程的特征，并以此為基礎(chǔ)、以最大化CMP-CLUSTER混合系統(tǒng)中每個(gè)并行硬件層次的優(yōu)勢為目標(biāo)，提出了適合于CMP-CLUSTER環(huán)境的并行編程模式，并對該模式的特點(diǎn)進(jìn)行了研究和總結(jié)。
　　 根據(jù)本文提出的CMP-CLUSTER混合并行計(jì)算環(huán)境概念模型的特征，提出針對于該混合并行計(jì)算環(huán)

4、境的分層次、自頂向下、逐步細(xì)化的并行編程模型，該模型分為五層：任務(wù)分配模式層、任務(wù)計(jì)算模式層、設(shè)計(jì)模式并行編程框架層、中間框架代碼層、任務(wù)部署與映射層。每一層分別對應(yīng)在CMP-CLUSTER混合并行計(jì)算環(huán)境概念模型下進(jìn)行并行處理的某一個(gè)特定的目的和步驟。
　　 針對本文提出的并行編程模型中的每一層，本文都研究了相應(yīng)的簡化并行編程實(shí)現(xiàn)的方法、技術(shù)和工具，以幫助在混合并行計(jì)算環(huán)境下進(jìn)行并行程序設(shè)計(jì)的人員提高編程效率，減少人為因素引進(jìn)

5、的錯(cuò)誤。
　　 基于設(shè)計(jì)模式的思想，設(shè)計(jì)并實(shí)現(xiàn)了兩種并行編程框架，用戶可以直接調(diào)用框架提供的高級應(yīng)用程序接口，就可以自動(dòng)的完成數(shù)據(jù)的劃分和任務(wù)的自動(dòng)并行化執(zhí)行?；跀?shù)據(jù)并行計(jì)算提出了一種基于陣列數(shù)據(jù)并行的FJRR并行設(shè)計(jì)模式，并以并行編程框架的形式實(shí)現(xiàn)了該設(shè)計(jì)模式的自動(dòng)計(jì)算；另外，提出了一種基于任務(wù)交互圖模式的并行編程框架，并具體實(shí)現(xiàn)了基于動(dòng)態(tài)規(guī)劃模式的任務(wù)自動(dòng)并行與調(diào)度系統(tǒng)，從而大大的簡化用戶在這兩種模式下進(jìn)行并行編程的復(fù)雜度