面向高可用性的MPI并行進程遷移機制研究.pdf

1、隨著高性能計算技術(shù)的飛速發(fā)展，高性能計算（High Performance Computing，HPC）系統(tǒng)的中組件的數(shù)量和規(guī)模的急劇增大，系統(tǒng)的平均故障間隔時間（Mean Time Between Failure，MTBF）也隨之大幅降低，嚴重影響了系統(tǒng)的可靠性。因此，為HPC配備自主容錯能力至關(guān)重要。檢查點和回卷（Checkpoint/Rollback，C/R）技術(shù)是 HPC中廣泛采用的自主容錯手段。但是，C/R技術(shù)通常會帶來巨大的

2、I/O開銷，已經(jīng)不能滿足HPC應(yīng)用的需求。進程遷移是一種主動式的自主容錯機制，是對C/R技術(shù)的擴充，將即將失效節(jié)點上運行的進程傳輸?shù)絺溆霉?jié)點上，從備用節(jié)點恢復(fù)這些進程。
　　首先，本文研究了國內(nèi)外 HPC系統(tǒng)自主容錯機制的發(fā)展現(xiàn)狀，分析了廣泛使用的檢查點和回卷技術(shù)與進程遷移機制。其次，為了在基于InfiniBand的多核HPC系統(tǒng)上，對MPI并行程序執(zhí)行檢查點和卷回操作，本文深入研究了傳統(tǒng)的C/R框架和InfiniBand信道架構(gòu)

3、，擴展了傳統(tǒng)的C/R框架，提出了一個基于FTB（Fault Tolerance Backplane）的C/R框架。在此基礎(chǔ)上，本文設(shè)計并實現(xiàn)了一種基于FTB的進程遷移機制，采用FTB作為容錯控制消息通信框架，實現(xiàn)進程遷移過程中的容錯控制消息傳遞，提高了開源MPI實現(xiàn)的容錯能力。此外，本文還分析了進程遷移過程中各階段的開銷情況，針對檢查點數(shù)據(jù)寫入和傳輸階段的高開銷問題，設(shè)計了一個進程遷移協(xié)議，縮短了進程遷出即將失效節(jié)點的時間，提高了HPC