基于SMP-Cluster架構(gòu)的并行程序性能數(shù)據(jù)收集、表示和分析軟件包框架原型的研究與設(shè)計(jì).pdf

1、作為解決大規(guī)模計(jì)算問題的重要手段，高性能計(jì)算越來越廣泛地應(yīng)用到科學(xué)與工程的各個(gè)領(lǐng)域。隨著高性能計(jì)算的快速發(fā)展，有兩個(gè)現(xiàn)象值得關(guān)注：一方面，并行計(jì)算機(jī)的峰值性能提升迅速，理論峰值計(jì)算速度高達(dá)每秒百萬億次的超級(jí)計(jì)算機(jī)系統(tǒng)已經(jīng)被研制成功，高性價(jià)比的機(jī)群系統(tǒng)(Cluster)已逐步成為高性能計(jì)算機(jī)的主流架構(gòu)，促進(jìn)了高性能計(jì)算在更多領(lǐng)域的普及與應(yīng)用；另一方面，并行應(yīng)用軟件的缺乏，導(dǎo)致高性能計(jì)算機(jī)表現(xiàn)出的實(shí)際性能一直處在較低的水平上。從統(tǒng)計(jì)分析可知

2、，當(dāng)前大型并行應(yīng)用軟件僅能發(fā)揮20％甚至10％以下的系統(tǒng)峰值性能。因此，實(shí)際應(yīng)用程序獲得的持續(xù)性能與機(jī)器理論峰值性能之間的差異不斷擴(kuò)大已成為一個(gè)不爭(zhēng)的事實(shí)。 優(yōu)化和提高并行應(yīng)用程序的實(shí)際性能已成為目前學(xué)術(shù)界與工業(yè)界關(guān)注的焦點(diǎn)。在程序性能優(yōu)化過程中，必須首先找出影響程序性能的主要原因，然后才能有針對(duì)性地對(duì)應(yīng)用程序代碼和數(shù)據(jù)結(jié)構(gòu)加以改進(jìn)，從而實(shí)現(xiàn)性能優(yōu)化。因此程序性能測(cè)試與分析軟件包就成為高性能計(jì)算程序開發(fā)與優(yōu)化周期中非常重要的一種

3、工具。目前國(guó)際上已有很多機(jī)構(gòu)和研究單位專門從事對(duì)大規(guī)模并行應(yīng)用程序性能進(jìn)行監(jiān)測(cè)與分析等軟件工具集的研究與開發(fā)，并取得了很多研究成果。而我國(guó)在這方面的研究相對(duì)落后，為了改變現(xiàn)狀，在國(guó)家973項(xiàng)目《大規(guī)?？茖W(xué)計(jì)算》課題：“大規(guī)模計(jì)算工程軟件系統(tǒng)的基礎(chǔ)理論和實(shí)施"中，設(shè)立了一個(gè)項(xiàng)目分支專門從事有關(guān)并行程序性能數(shù)據(jù)收集、分析及可視化等技術(shù)的研究與開發(fā)。本文的工作重點(diǎn)之一就是圍繞這個(gè)主題，選取一個(gè)開源的、先進(jìn)的具有自動(dòng)進(jìn)行并行性能測(cè)試與分析功能的

4、工具集KOJAK，對(duì)其中若干關(guān)鍵技術(shù)進(jìn)行詳細(xì)的剖析，為我國(guó)自行研制高效的、智能的并行性能測(cè)試與分析工具集提供一些借鑒。 基于硬件性能監(jiān)視計(jì)數(shù)器的程序性能測(cè)試與分析正在成為現(xiàn)代程序性能測(cè)試與分析的基礎(chǔ)。同時(shí)，為方便用戶安全地訪問這些底層硬件計(jì)數(shù)器，可供用戶程序調(diào)用的接口軟件包被大量開發(fā)出來，其中適用平臺(tái)最廣泛的PAPI軟件包得到了業(yè)內(nèi)人士的一致好評(píng)，并已被集成到很多第三方軟件中。目前基于PAPI的串行程序性能數(shù)據(jù)收集和分析已經(jīng)取得

5、了很多成果，但是將PAPI集成到并行程序軟件中對(duì)并行程序的性能行為進(jìn)行測(cè)試與分析的相關(guān)研究并不多。因此本文創(chuàng)新性地提出了一個(gè)并行PAPI的概念，并給出一個(gè)基于PAPI的并行程序性能數(shù)據(jù)收集、分析和顯示的軟件包框架原型。 本文的主要研究工作如下： l、國(guó)產(chǎn)萬億次機(jī)群系統(tǒng)上高性能應(yīng)用軟件性能數(shù)據(jù)的整理和分析。 收集并分析高性能應(yīng)用軟件在國(guó)家973LSSCII萬億次機(jī)群系統(tǒng)(深騰1800機(jī)群系統(tǒng))上運(yùn)行時(shí)的程序性能數(shù)據(jù)

6、，依據(jù)這些寶貴的性能數(shù)據(jù)資料，本文真實(shí)地揭示出國(guó)產(chǎn)萬億次機(jī)群系統(tǒng)上高性能應(yīng)用軟件的運(yùn)行現(xiàn)狀，為我們正確認(rèn)識(shí)峰值性能與實(shí)際性能之間的差異提供了依據(jù)，從而給我們敲響了警鐘，讓大家從過去只注重硬件而忽視軟件開發(fā)的怪圈中擺脫出來。我們必須要清醒地認(rèn)識(shí)到：只有良好的應(yīng)用程序配上強(qiáng)大的硬件平臺(tái)才能真正發(fā)揮整個(gè)系統(tǒng)的運(yùn)行能力。 2、對(duì)一個(gè)自動(dòng)并行程序性能分析工具集KOJAK的全面剖析。 由于目前我國(guó)普遍使用的高性能計(jì)算平臺(tái)是基于機(jī)群體

7、系結(jié)構(gòu)的，而且并行體系結(jié)構(gòu)的未來趨勢(shì)(至少在未來5年內(nèi))是明確的，也就是大多數(shù)并行將趨于一種混合結(jié)構(gòu)SMP—Cluster，即由一組SMP節(jié)點(diǎn)構(gòu)成的分布存儲(chǔ)系統(tǒng)，每個(gè)節(jié)點(diǎn)中包含適量的CPU，位于一個(gè)節(jié)點(diǎn)內(nèi)的所有CPU共享一個(gè)存儲(chǔ)器。為此本文將選取一套國(guó)際上先進(jìn)的基于SMP—Cluster架構(gòu)的自動(dòng)并行程序性能分析工具集KOJAK作為剖析的對(duì)象，對(duì)其中涉及到的若干關(guān)鍵技術(shù)進(jìn)行了詳細(xì)的剖析，為我國(guó)以后自行研制高效的、智能的并行性能測(cè)試與分析

8、工具集提供一些借鑒。只有先謙虛地學(xué)習(xí)別人的先進(jìn)經(jīng)驗(yàn)，才能在自己的研究工作中少走彎路。 3、提出一個(gè)并行PAPI的思想，并給出一個(gè)基于并行PAPI的并行程序性能數(shù)據(jù)收集、表示和分析軟件包框架原型。 并行PAPI的思想就是把PAPI插入到每個(gè)MPI進(jìn)程中，分別對(duì)每個(gè)進(jìn)程的性能進(jìn)行監(jiān)視和分析，然后再綜合起來對(duì)整個(gè)并行程序進(jìn)行評(píng)價(jià)，從而避免直接對(duì)并行程序的某幾個(gè)進(jìn)程進(jìn)行分析而造成的混亂。將PAPI與并行程序相結(jié)合，利用并行PAP

9、I這個(gè)思想，本文還、給出一個(gè)綜合現(xiàn)有技術(shù)的特點(diǎn)而設(shè)計(jì)的高性能應(yīng)用程序性能測(cè)試與分析軟件包框架的雛形ParaPAPI-Viewer。 ParaPAPI-Viewer是一個(gè)基于PAPI的并行程序性能數(shù)據(jù)收集、顯示及分析的工具軟件包，用于收集和分析基于消息傳遞機(jī)制的MPI并行程序的性能數(shù)據(jù)。ParaPAPI-Viewer工具軟件包的目標(biāo)就是將用戶從以前繁瑣的手工性能數(shù)據(jù)收集、顯示和分析的工作中解脫出來，實(shí)現(xiàn)性能分析自動(dòng)化，并且提供給用