具有數(shù)據(jù)依賴的對等高性能計算關(guān)鍵技術(shù)研究.pdf

1、對等高性能計算系統(tǒng)為解決在任務(wù)級并行的計算密集型對等高性能應(yīng)用所提供的潛在計算能力能夠超過以往任何計算系統(tǒng)，因而受到越來越多的關(guān)注。然而，現(xiàn)有的典型對等高性能計算系統(tǒng)由于不支持具有數(shù)據(jù)依賴關(guān)系的對等高性能應(yīng)用而受到限制。因此，有必要研究新的對等高性能計算技術(shù)，使對等高性能計算系統(tǒng)支持具有數(shù)據(jù)依賴關(guān)系的應(yīng)用，從而達(dá)到推廣對等高性能計算系統(tǒng)的目的。 為了支持任務(wù)間具有數(shù)據(jù)依賴關(guān)系的對等高性能應(yīng)用，重點研究對等高性能計算中的計算資源管理

2、策略、任務(wù)調(diào)度機(jī)制和編程模型這三種關(guān)鍵技術(shù)；基于這些技術(shù)提出對等高性能計算系統(tǒng)P2HP-2（A Peer-to-peer based High performance computing Platform-Ⅱ），并結(jié)合一個運行實例，對系統(tǒng)的總體性能進(jìn)行綜合評價。 根據(jù)具有數(shù)據(jù)依賴關(guān)系的任務(wù)對資源分配的要求，通過對等網(wǎng)絡(luò)Gtapestry管理對等高性能計算資源。Gtapestry是一個基于無結(jié)構(gòu)工作組的結(jié)構(gòu)化對等網(wǎng)絡(luò)，從兩方面考

3、慮網(wǎng)絡(luò)匹配要求：其一是對象分派與區(qū)域網(wǎng)絡(luò)構(gòu)造之間的匹配，其二是虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)之間的鄰近匹配。為了提高路由效率，Gtapestry采用一個對象指針備份機(jī)制，即在任務(wù)的發(fā)布路徑上備份任務(wù)對象地址，若在路由過程中遇到目標(biāo)對象的備份地址，則根據(jù)該地址直接重定向到對象的實際寄存節(jié)點。 為了對具有數(shù)據(jù)依賴關(guān)系的應(yīng)用進(jìn)行調(diào)度，提出了一種協(xié)商協(xié)同任務(wù)調(diào)度策略，它根據(jù)任務(wù)間的數(shù)據(jù)依賴關(guān)系和計算資源的局部鄰居表，通過局部協(xié)商的方式對依賴任務(wù)進(jìn)行分

4、派和調(diào)度。其中，依賴任務(wù)的分派通過協(xié)商機(jī)制完成，即節(jié)點將當(dāng)前任務(wù)的依賴任務(wù)賦予優(yōu)先級，并在與它的鄰居節(jié)點進(jìn)行協(xié)商后，將依賴任務(wù)分派給其中的一個鄰居節(jié)點。任務(wù)的運行通過協(xié)同調(diào)度機(jī)制完成，即在設(shè)置好任務(wù)運行所需的程序、參數(shù)和依賴數(shù)據(jù)后，運行時系統(tǒng)對任務(wù)進(jìn)行非搶占式單任務(wù)調(diào)度。同時，各個計算節(jié)點根據(jù)當(dāng)前的任務(wù)負(fù)載，通過局部協(xié)商方式動態(tài)調(diào)整任務(wù)的分配，從而實現(xiàn)動態(tài)負(fù)載平衡。 為了對具有數(shù)據(jù)依賴關(guān)系的應(yīng)用進(jìn)行并行化編程，以任務(wù)與運行時系統(tǒng)的

5、交互模型為基礎(chǔ)，研究了一種單邊消息通信編程模型OMP（One-sided Message Passing programming model），它由通信庫和軟件開發(fā)包組成。通信庫提供了一種單邊消息通信機(jī)制，并在此基礎(chǔ)上實現(xiàn)了軟件開發(fā)包；應(yīng)用程序員利用開發(fā)包提供的應(yīng)用編程接口（API，Application Programming Interface），可以通過模塊分割的方式對串行程序進(jìn)行分布式改造?；诰幊棠Ｐ蚈MP，依賴任務(wù)可以利用它

6、所提供的應(yīng)用編程接口，在應(yīng)用級主動發(fā)起數(shù)據(jù)請求，進(jìn)而結(jié)合Gtapestry的節(jié)點通信機(jī)制和協(xié)商協(xié)同任務(wù)調(diào)度策略，滿足任務(wù)對依賴數(shù)據(jù)的請求。 為了驗證基于Gtapestry的計算資源管理策略、協(xié)商協(xié)同任務(wù)調(diào)度機(jī)制和單邊消息通信編程模型這三種對等高性能計算技術(shù)能夠支持具有數(shù)據(jù)依賴關(guān)系的應(yīng)用，利用它們實現(xiàn)了對等高性能計算系統(tǒng)P2HP-2，并針對蛋白質(zhì)折疊應(yīng)用，提出并實現(xiàn)了具有靜態(tài)樹狀任務(wù)依賴關(guān)系的1-level-core并行Thread

7、ing算法，依據(jù)該并行算法對系統(tǒng)進(jìn)行測試和綜合性能分析。 與結(jié)構(gòu)化對等網(wǎng)絡(luò)Tapestry相比，Gtapestry更加穩(wěn)定，且路由效率更高，而動態(tài)維護(hù)開銷更少，通過理論分析和實驗，表明基于Gtapestry的計算資源管理策略能夠滿足依賴任務(wù)之間的通信需求，并且通信延遲較??；并且協(xié)商協(xié)同任務(wù)調(diào)度機(jī)制能夠?qū)哂袛?shù)據(jù)依賴關(guān)系的應(yīng)用進(jìn)行調(diào)度，它能夠自適應(yīng)于動態(tài)計算環(huán)境。最后，綜合性能分析驗證了基于Gtapestry的計算資源管理策略、協(xié)